Публикация:
	702. Теоретические основы и методология моделирования системы управления цепями поставок с использованием принципов экономической кибернетики и экономико-математических методов / Орлов А.И., Колобов А.А., Омельченко И.Н. - Отчет по госбюджетной НИР, No. государственной регистрации ______________, инвентарный № отчета ___________ (рукопись). – М.: МГТУ им. Н.Э. Баумана, 2009. - 99 стр.

Федеральное агентство по образованию
Государственное образовательное учреждение
высшего профессионального образования
«Московский государственный технический университет
имени Н.Э. Баумана
(МГТУ им. Н.Э.Баумана)

УДК 330.115
№ госрегистрации__________
Инв. №____________________
УТВЕРЖДАЮ
Первый проректор – 
проректор по научной работе
МГТУ им. Н.Э.Баумана
д-р техн. наук, проф.
_____________ К.Е. Демихов
“___”______________20___г.

ОТЧЁТ
О НАУЧНО-ИССЛЕДОВАТЕЛЬСКОЙ РАБОТЕ

ТЕОРЕТИЧЕСКИЕ ОСНОВЫ И МЕТОДОЛОГИЯ
МОДЕЛИРОВАНИЯ СИСТЕМЫ УПРАВЛЕНИЯ ЦЕПЯМИ ПОСТАВОК С ИСПОЛЬЗОВАНИЕМ ПРИНЦИПОВ ЭКОНОМИЧЕСКОЙ КИБЕРНЕТИКИ И ЭКОНОМИКО-МАТЕМАТИЧЕСКИХ МЕТОДОВ 
(заключительный)
НИЧ 1.__.09

Руководитель НИР
д-р техн. наук, проф.			       _____________  А.И.Орлов

Москва  2009 

 СПИСОК ИСПОЛНИТЕЛЕЙ
Руководитель НИР, докт. техн. наук, профессор 
А.И.Орлов
 (введение, разд.1, 2, 3, 4, заключение)
Исполнители:
заведующий кафедрой, докт. техн. наук, профессор 
А.А.Колобов 
(введение, разд.1, 2, заключение)

Декан, докт. экон. наук, докт. техн. наук, профессор 
И.Н.Омельченко
(введение, разд.1, 2, заключение)

 РЕФЕРАТ

Отчет 98 с., 131 источник 

МОДЕЛИРОВАНИЕ, УПРАВЛЕНИЕ, ЭКОНОМИКА, МЕТОДОЛОГИЯ, ЦЕПИ ПОСТАВОК, ЭКОНОМИЧЕСКАЯ КИБЕРНЕТИКА, ЭКОНОМИКО-МАТЕМАТИЧЕСКИЕ МЕТОДЫ И МОДЕЛИ, ПРОГНОЗИРОВАНИЕ

	Разработка теоретических основ и методологии устойчивых экономико-математических методов и моделей, предназначенных для применения при модернизации управления предприятиями, проведена в главе 1. Моделирование экспертных технологий на основе статистики нечисловых данных и анализу технологий и инструментов (моделей, методов, способов, процедур, программных продуктов), используемых в прогнозировании - предмет главы 2. Организационно-экономическому обеспечению моделирования инновационной деятельности в системах управления цепями поставок, включая разработку теоретических основ и методологии информационно-аналитической поддержки процессов принятия решений в таких системах, посвящена глава 3. Неформальная информационная экономика будущего (НИЭБ) развивается в главе 4. Выделены основные принципиальные положения НИЭБ, ее значение для управления экономическими процессами, разработана принципиальная схема проекта «Сеть экспертов». Проанализированы троянские обучающие технологии в экономике и менеджменте, в частности, в области преподавания эконометрики. Результаты НИР предназначены для использования при разработке новых организационно-экономических методов и моделей управления в высокотехнологичных отраслях промышленности, при проведении дальнейших фундаментальных исследований, а также в учебном процессе.

СОДЕРЖАНИЕ
	с.
Введение	6

1. Теоретические основы и методология устойчивых математических
методов и моделей	11
1.1. Теоретические основы экономико-математического моделирования	11
1.2. Общая схема устойчивости в экономической кибернетике	14
1.3. Конкретные постановки задач устойчивости при моделировании 
       систем управления цепями поставок	18

2. Методология моделирования экспертных технологий	33
2.1. Разработка теоретических основ и методологии экспертных оценок	33
2.2. Статистика нечисловых данных	38
2.3. Современный этап развития экспертных оценок	44
2.4. Технологии и инструменты (модели, методы,  способы, процедуры, 
       программные продукты), используемые в прогнозировании	47

3. Организационно-экономическое обеспечение моделирования 
инновационной деятельности в системе управления цепями поставок	53
3.1. «Русская система обучения ремеслам» и научный менеджмент	54
3.2. Основное ядро современной экономической теории – экономика 
       предприятия (инженерная экономика)	56
3.3. Три основных направления развития промышленного менеджмента 	58
3.4. Организационно-экономическое обеспечение деятельности 
       коллективов разработчиков новшеств	64
3.5. Разработка теоретических основ и методологии информационно-
        аналитической поддержки процессов принятия решений 
        в системах управления цепями поставок	66

4. Разработка теоретических основ и  методологии неформальной
     информационной экономики будущего (НИЭБ)	77
4.1. О развитии НИЭБ	78
4.2. Некоторые принципиальные положения НИЭБ	79
4.3. НИЭБ и управление экономическими процессами	80
4.4. Проект «Сеть экспертов»	81
4.5. Троянские обучающие технологии в экономике и менеджменте	83

Заключение	86

Список использованных источников	88

Введение

	Разработка теоретических основ и методологии моделирования системы управления цепями поставок в логистических структурах, жизненным циклом продукции с целью модернизации управленческих процедур на наукоемких предприятиях при выпуске высокотехнологичной продукции, обеспечение эффективного функционирования предприятий и организаций в современных условиях возможно лишь при адекватном использовании различных форм и методов организационно-экономического обеспечения современных технологий управления. Общеизвестна роль экономической кибернетики, экономико-математических и, в частности, статистических и экспертных (эконометрических) методов в деле обеспечения эффективного функционирования предприятий и организаций. Методология моделирования систем управления в рассматриваемой области основана на общих принципах экономической кибернетики, развитие инструментария предполагает разработку новых экономико-математических методов в рамках соответствующих моделей, адекватных социально-экономической реальности.
	Цель НИР - разработка базовых положений теоретических основ и адекватной методологии моделирования систем управления промышленными предприятиями и их объединениями, прежде всего цепями поставок продукции, сырья и комплектующих, на основе фундаментальных принципов экономической кибернетики и современных подходов к развитию экономико-математических методов и моделей, в том числе статистических (эконометрических), экспертных, оптимизационных, динамических, входящих в теорию разработки и принятия управленческих ращений.
	Проведение НИР позволило получить следующие результаты:
	- разработать теоретические основы и методологию устойчивых математических методов и моделей;
	- разработать теоретические основы и методологию моделирования экспертных оценок и экспертных технологий, выявить роль статистики нечисловых данных как инструментария разработки многообразия экспертных технологий и анализа экспертных данных, дать когнитивный анализ технологий и инструментов (моделей, методов  способов, процедур, программных продуктов, используемых при прогнозировании социально-экономических явлений и процессов;
	- разработать теоретические основы и методологию организационно-экономического обеспечения моделирования инновационной деятельности и информационно-аналитической поддержки процессов принятия решений в системах управления цепями поставок;
	- получить новые научные результаты в области разработки теоретических основ и методологии неформальной информационной экономики будущего, принципиальных положений этой новой организационно-экономической теории технологического развития, ее применения при управление экономическими процессами, в проекте «Сеть экспертов», при анализе троянских обучающих технологий в экономике и менеджменте.
	Обсудим полученные результаты в соответствии с главами отчета.
	В главе 1 предложена общая схема изучения устойчивости выводов, полученных с помощью математических методов и моделей, относительно допустимых отклонений исходных данных и предпосылок моделей. Рассмотрены конкретные постановки задач устойчивости: по отношению к изменению данных, их объема и распределений, к допустимым преобразованиям шкал измерения, к временным характеристикам (моменту начала реализации проекта, горизонту планирования). Борьба с неопределенностью может проводиться путем изменения вида данных, т.е. путем перехода к нечисловым данным. Обсуждаются модели конкретных процессов управления промышленными предприятиями на примерах устойчивости характеристик инвестиционных проектов к изменению коэффициентов дисконтирования и устойчивости к изменению коэффициентов модели и объемов партий в моделях управления запасами. 
	В главе 2 дан анализ развития экспертных оценок в нашей стране в послевоенные годы. Приведены основные идеи и публикации, позволяющие выявить движущие силы развития в этой перспективной научно-практической области. Особое внимание уделено нечисловым экспертным оценкам и основным идеям статистики нечисловых данных – области прикладной статистики, основным стимулом создания и развития которой явились потребности теории и практики экспертного оценивания. Проанализирован современный этап развития экспертных оценок. Совместно с Международной академией исследований будущего и Институтом экономических стратегий РАН составлена когнитивная карта предметной области «Технологии и инструменты (модели, методы, способы, процедуры, программные продукты), используемые в прогнозировании».
	Глава 3 посвящена разработке теоретических основ и методологии различных сторон организационно-экономического обеспечения моделирования инновационной деятельности в системе управления цепями поставок. Инновационная деятельность и ее организационно-экономическое обеспечение, особенно в сфере наукоемкой продукции и высокотехнологичных производств, в том числе управления цепями поставок, находятся в центре внимания нашего коллектива. Из многообразия проблем в этой области рассмотрены пять сюжетов:
	1. Установлено, что научный менеджмент родился в Императорском Московском Техническом Училище (ныне – МГТУ им. Н.Э. Баумана).
	2. Показано что основное ядро современной экономической теории – это не макроэкономика, а экономика предприятия (инженерная экономика).
	3. Выделены три основных направления развития промышленного менеджмента - организация и управление жизненным циклом продукции, контроллинг и организационно-экономическое моделирование.
	4. Проанализированы направления организационно-экономической поддержки коллективов разработчиков новшеств со стороны специалистов по экономике предприятия и производственному менеджменту.
	5. Разработаны вопросы теоретических основ и методологии информационно-аналитической поддержки процессов принятия решений в системах управления цепями поставок.
	Заключительный пятый сюжет дает общее представление о разработке теоретических основ и методологии моделирования системы управления поставками с целью организационно-экономического обеспечения информационно-аналитической поддержки процессов принятия управленческих решений. На кафедре «Экономика и организация производства» в конце ХХ – начале XXI вв. создана научная школа в области организационно-экономического моделирования, эконометрики и статистики. Преподавание соответствующих дисциплин курирует одноименная секция кафедры, научные исследования ведет Лаборатория экономико-математических методов в контроллинге. Раздел 3.5 посвящен деятельности научной школы, ведущимся исследованиям и некоторым полученным результатам. 
	Неформальная информационная экономика будущего (НИЭБ) развивается в Инновационном научно-образовательном центре Института проблем управления РАН и МГТУ им. Н.Э. Баумана как методологическая основа конкретных исследований в области организационно-экономического моделирования. Одна из ее целей - выявить основные тенденции социально-экономического развития на период стратегического планирования (на 20-30 лет) государства и крупных корпораций. В главе 4 рассмотрены основные идеи этой новой организационно-экономической теории, предназначенной для замены преподаваемой в отечественных вузах «экономикс» - суррогата экономической теории. Дана информация о развитии НИЭБ, указаны основные доклады на международных и всероссийских конференциях и соответствующие публикации. Выделены основные принципиальные положения НИЭБ. Проанализировано значение НИЭБ для управления экономическими процессами, в том числе системами управления цепями поставок. Разработана принципиальная схема проекта «Сеть экспертов», отличающегося принципиальной новизной, в частности, отсутствием роспуска экспертных комиссий после достижения поставленных целей и переходом к постоянно действующей системы подготовки, принятия и реализации управленческих решений на основе комиссий экспертов. Проанализированы троянские обучающие технологии в экономике и менеджменте, в частности, в области преподавания эконометрики обоснована позиция МГТУ им. Н.Э. Баумана. 
	Основные результаты, полученные в ходе выполнения НИР, опубликованы в вышедших в 2009 г. статьях и монографиях участников работы, доложены на ряде международных и всероссийских научных конференций. По тематике главы 1 защищена 13 октября 2009 г. диссертация А.И. Орлова «Разработка и развитие устойчивых экономико-математических методов и моделей для модернизации управления предприятиями» на соискание ученой степени доктора экономических наук по специальности 08.00.13 – Математические и инструментальные методы экономики. 
	В «Заключении» подведены итоги решения задач, поставленных в НИР.
	Литературные ссылки на публикации авторов отчета приведены в «Списке использованных источников» в конце отчета, равно как и ссылки на использованные при подготовке отчета работы, всего 131 источник, в том числе 4 Интернет-источника. 

1. Теоретические основы и методология 
устойчивых математических методов и моделей 

	Изучение устойчивости – один из этапов построения математической модели (см. [52, с.288-303], [54] и др.). Обсудим концепцию устойчивости на примере математического моделирования процессов управления промышленными предприятиями и цепями поставок. Рассмотрим общую схему устойчивости, выделим классы устойчивых моделей, приведем решения ряда конкретных задач.

1.1. Теоретические основы экономико-математического моделирования

	Процессы управления промышленными предприятиями реализуются в реальных ситуациях с достаточно высоким уровнем неопределенности [27, 100]. Велика роль нечисловой информации как на «входе», так и на «выходе» процесса принятия управленческого решения. Неопределенность и нечисловая природа управленческой информации должны быть отражены при анализе устойчивости экономико-математических методов и моделей.
	Применение экономико-математических методов и моделей при разработке инструментария повышения эффективности управления промышленными предприятиями обычно предполагает последовательное осуществление трех этапов исследования. Первый - от исходной практической проблемы до теоретической чисто математической задачи. Второй – внутриматематическое изучение и решение этой задачи. Третий – переход от математических выводов обратно к практической проблеме. 
	Целесообразно выделять четверки проблем:
задача – модель - метод – условия применимости.
Обсудим каждую из только что выделенных составляющих.
	Задача, как правило, порождена потребностями той или иной прикладной области. Разрабатывается одна из возможных математических формализаций реальной ситуации. Например, при изучении предпочтений потребителей возникает вопрос: различаются ли мнения двух групп потребителей. При математической формализации мнения потребителей в каждой группе обычно моделируются как независимые случайные выборки, т.е. как совокупности независимых одинаково распределенных случайных величин, а вопрос маркетологов переформулируется в рамках этой модели как вопрос о проверке той или иной статистической гипотезы однородности. Речь может идти об однородности характеристик, например, о проверке равенства математических ожиданий, или о полной (абсолютной однородности), т.е. о совпадении функций распределения, соответствующих двух совокупностям.
	Модель может быть порождена также обобщением потребностей (задач) ряда прикладных областей. Приведенный выше пример иллюстрирует эту ситуацию: к необходимости проверки гипотезы однородности приходят и медики при сравнении двух групп пациентов, и инженеры при сопоставлении результатов обработки деталей двумя способами, и т.д. Таким образом, одна и та же математическая модель может применяться для решения самых разных по своей прикладной сущности задач. Важно подчеркнуть, что выделение перечня задач находится вне математики.
	Метод, используемый в рамках определенной математической модели - это уже во многом, если не в основном, дело математиков. В вероятностно-статистических моделях речь идет, например, о методе оценивания, о методе проверки гипотезы, о методе доказательства той или иной теоремы, и т.д. В первых двух случаях алгоритмы разрабатываются и исследуются математиками, но используются прикладниками, в то время как метод доказательства касается лишь самих математиков.
	Отнюдь не все модели и методы непосредственно связаны с математикой. В организационно-экономических исследованиях широко используются графические модели описания спроса и предложения, равновесных цен. Предпочтения потребителей могут быть выявлены различными методами – выборочным опросом потребителей, путем наблюдения за их поведением, с помощью различных экспертных процедур. Ясно, что для решения той или иной задачи в рамках одной и той же принятой исследователем модели может быть предложено много методов. 
	Наконец, рассмотрим последний элемент четверки - условия применимости. При использовании математической модели он - полностью внутриматематический. С точки зрения математика замена условия (кусочной) дифференцируемости некоторой функции на условие ее непрерывности может представляться существенным научным достижением, в то время как экономист или менеджер оценить это достижение не смогут. Для них, как и во времена Ньютона и Лейбница, непрерывные функции мало отличаются от (кусочно) дифференцируемых. Точнее, они одинаково хорошо (или одинаково плохо) могут быть использованы для описания и решения реальных проблем. 
	Взаимоотношения моделей и методов заслуживают обсуждения. В процессе познания не всегда метод следует за математической моделью. Метод может быть разработан на основе эвристических соображений, словесной модели. Свойства метода можно изучать лишь в рамках той или иной модели. В рамках одной математической модели метод может быть оптимальным, в рамках другой – несостоятельным. Проблема состоит в создании или выборе модели, адекватной изучаемому явлению или процессу. 
	С точки зрения практической деятельности модели и методы нужны не сами по себе, а как инструменты разработки управленческих решений, которые могут описываться как выводы, заключения, планы мероприятий. Рассмотрим цепочку:
данные – метод (их обработки) – выводы.
Как обосновать адекватность выводов? Один из критериев – устойчивость метода обработки данных. Устойчивость можно изучать лишь в рамках определенной модели. 
	Для обоснованного практического применения математических моделей процессов управления промышленными предприятиями и основанных на них экономико-математических методов должна быть изучена устойчивость получаемых с их помощью выводов по отношению к допустимым отклонениям исходных данных и предпосылок моделей. Возможные применения результатов подобного исследования:
	заказчик научно-исследовательской работы получает представление о точности предлагаемого решения;
	удается выбрать из многих моделей наиболее адекватную;
	по известной точности определения отдельных параметров модели удается указать необходимую точность нахождения остальных параметров;
	переход к случаю «общего положения» позволяет получать более сильные с математической точки зрения результаты.
	Можно рекомендовать обрабатывать данные несколькими способами (методами). Выводы, общие для всех способов, скорее всего отражают реальность (являются объективными). Выводы, меняющиеся от метода к методу, субъективны, зависят от исследователя, выбравшего тот или иной метод анализа данных. Здесь речь идет об устойчивости выводов по отношению к выбору метода. 
	Проблемы устойчивости обсуждались многими авторами и с разных точек зрения. Так, случай «общего положения» соответствует переходу к «мягкой модели» в терминологии [9]. В настоящей главе рассматривается только система научных результатов, к которым авторы отчета имеют отношение.

1.2. Общая схема устойчивости в экономической кибернетике

	Необходим математический аппарат для описания проблем устойчивости выводов, получаемых на основе математических моделей социально-экономических явлений и процессов. Предлагаем использовать следующие базовые понятия [58].
	Определение 1. Общей схемой устойчивости называется кортеж {A, B, f, d, E}, где: 
A – множество, интерпретируемое как пространство исходных данных; 
B – множество, называемое пространством решений;
f – способ получения выводов, т.е. однозначное отображение ;
d – показатель устойчивости, т.е. неотрицательная функция, определенная на подмножествах У множества B и такая, что из  вытекает ;
	 – совокупность допустимых отклонений, т.е. система подмножеств множества A такая, что каждому элементу множества исходных данных  и каждому значению параметра  из некоторого множества параметров  соответствует подмножество ) множества исходных данных. Оно называется множеством допустимых отклонений в точке х при значении параметра, равном . 
	Способ получения выводов иногда будем для краткости называть моделью. Во многих конкретных постановках устойчивости выводы получают с помощью определенного метода, основанного на некоторой модели. С прикладной точки зрения модель первична, метод – вторичен, поскольку результаты его применения определяются свойствами модели. Это соображение оправдывает принятую нами в [58] терминологию общей схемы устойчивости. 
	Часто показатель устойчивости d(Y) определяется с помощью метрики, псевдометрики или показателя различия (меры близости)  как диаметр множества У, т.е.  Т.е. в пространстве решений с помощью показателя устойчивости вокруг образа исходных данных сформирована система окрестностей. В пространстве исходных данных подобная система – это Е, т.е. совокупность допустимых отклонений,  - окрестность радиуса  вокруг точки х.
	Определение 2. Показателем устойчивости в точке х при значении параметра, равном , называется число 

- диаметр образа множества допустимых отклонений при отображении, рассматриваемом в качестве модели (способа получения выводов).
	Определение 3. Абсолютным показателем устойчивости в точке х называется число 
.
	Рассмотрим два конкретных типа математических моделей. В теории измерений [58] окрестностью исходных данных являются все те вектора, что получаются из исходного путем преобразования координат с помощью допустимого преобразования шкалы, которое берется из соответствующей группы допустимых преобразований. В статистике интервальных данных [73] под окрестностью исходных данных естественно понимать – при описании выборки – куб с ребрами  и центром в исходном векторе. В обоих случаях максимальное сужение не означает сужение к точке.
	Определение 4. Абсолютным показателем устойчивости на пространстве исходных данных А по мере  называется число
.
	Определение 5. Максимальным абсолютным показателем устойчивости называется
.
	Определение 6. Модель f называется абсолютно –устойчивой, если , где  – максимальный абсолютный показатель устойчивости.
	Пример. Если показатель устойчивости формируется с помощью метрики , совокупность допустимых отклонений E – это совокупность всех окрестностей всех точек пространства исходных данных A, то 0–устойчивость модели f эквивалентна непрерывности модели f на множестве A.
	Типовая проблема в общей схеме устойчивости – проверка –устойчивости данной модели f относительно данной системы допустимых отклонений E.
	Проблема А (характеризации устойчивых моделей). Даны пространство исходных данных A, пространство решений B, показатель устойчивости d, совокупность допустимых отклонений E и неотрицательное число . Описать достаточно широкий класс  – устойчивых моделей f. Или: найти все –устойчивые модели среди моделей, обладающих данными свойствами, т.е. входящих в данное множество моделей. 
	Проблема Б (характеризации систем допустимых отклонений). Даны пространство исходных данных A, пространство решений B, показатель устойчивости d, модель f и неотрицательное число . Описать достаточно широкий класс систем допустимых отклонений E, относительно которых модель f является —устойчивой. Или: найти все такие системы допустимых отклонений E среди совокупностей допустимых отклонений, обладающих данными свойствами, т.е. входящих в данное множество совокупностей допустимых отклонений.
	Пример. Определение устойчивости по Ляпунову решения  нормальной автономной системы дифференциальных уравнений  с начальными условиями  выразим в терминах общей схемы устойчивости.
	Здесь пространство исходных данных A – конечномерное евклидово пространство, множество допустимых отклонений  - окрестность радиуса  точки , пространство решений B – множество функций на луче  с метрикой 
.
Модель f – отображение, переводящее начальные условия х в решение системы дифференциальных уравнений с этими начальными условиями . 
	В терминах общей схемы устойчивости положение равновесия а называется устойчивым по Ляпунову, если . 
	Для формулировки определения асимптотической устойчивости по Ляпунову надо ввести в пространстве решений B псевдометрику 
.
Положение равновесия а называется асимптотически устойчивым, если  для некоторого , где показатель устойчивости  рассчитан с использованием псевдометрики .
	Таким образом, общая схема устойчивости является обобщением классических постановок задач устойчивости по Ляпунову в теории дифференциальных уравнений. Соотношение общей схемы устойчивости с подходами других авторов обсуждается в [27, гл.8], [58, гл.1] и др. Отметим только структурную устойчивость (грубость динамических систем), введенную А. А. Андроновым и Л. С. Понтрягиным в 1937 г., работы Д.А. Молодцова по устойчивости принципов оптимальности [45] и теории мягких множеств [46].
	Непосредственно из общей схемы устойчивости вытекает ряд практически полезных рекомендаций [58, гл.1], в частности, принцип уравнивания погрешностей, согласно которому целесообразно уравнять вклад погрешностей различной природы в общую погрешность. Он позволяет установить рациональный объем выборки в статистике интервальных данных [73]; число градаций в анкетах, предназначенных для опроса потребителей [58]; необходимую точность оценивания параметров (платы за доставку и платы за дефицит) в моделях управления запасами [74].

1.3. Конкретные постановки задач устойчивости при моделировании систем управления цепями поставок

	Перечислим ряд конкретных постановок проблем устойчивости в математических методах и моделях, в частности, используемых при управлении производственно-хозяйственной деятельностью промышленных предприятий.
	3.1. Устойчивость по отношению к изменению данных.
	Исходные данные могут быть известны лишь с некоторыми неопределенностями (погрешностями, ошибками, невязками), присущими результатам измерений (наблюдений, испытаний, анализов, опытов). Для учета влияния неопределенностей на свойства процедур анализа данных используют модель сгруппированных данных [60], статистику интервальных ([73, гл.12], [85, гл.4]) и нечетких [61] данных.
	3.2. Устойчивость к изменению объема данных (объема выборки).
	Асимптотические методы математической статистики нацелены на получение выводов, не меняющихся при изменении объемов данных, лишь бы эти объемы были достаточно велики. Отметим, что выводы, устойчивые к изменению объема выборки, т.е. полученные в результате предельного перехода, зачастую являются более общими, чем те, которые можно получить при рассмотрении конкретного объема выборки. Так, согласно Центральной предельной теореме теории вероятностей распределение центрированного и нормированного среднего арифметического независимых одинаково распределенных случайных величин приближается к вполне определенному распределению (нормальному распределению с математическим ожиданием 0 и дисперсией 1), каким бы ни было распределение слагаемых (в предположении, что дисперсия этого распределения конечна и отлична от 0). Как писали Б.В. Гнеденко и А.Н. Колмогоров, «познавательная ценность теории вероятностей раскрывается только предельными теоремами» [19]. В этом полемически заостренном утверждении подчеркивается принципиальная важность получения выводов, устойчивых к изменению объема выборки. Решения ряда задач асимптотической статистики приведены в [58, 73].
	3.3. Устойчивость к изменению распределений данных. 
	До сих пор в книгах и статьях часто рассматривают различные параметрические семейства распределений числовых случайных величин. А именно – изучают семейства нормальных распределений, логарифмически нормальных, экспоненциальных, гамма-распределений, распределений Вейбулла-Гнеденко и др. Все они зависят от одного, двух или трех параметров. Поэтому для полного описания распределения достаточно знать или оценить одно, два или три числа. Широко развита и представлена в литературе параметрическая теория математической статистики, в которой предполагается, что распределения результатов наблюдений принадлежат тем или иным параметрическим семействам.
	К сожалению, параметрические семейства существуют лишь в моделях, созданных исследователями. Анализ конкретных данных показывает, что погрешности наблюдений (измерений, испытаний, анализов, опытов) в большинстве случаев имеют распределения, отличные от нормальных и от распределений из других параметрических семейств. Так, в научной школе метролога проф. П. В. Новицкого проведены исследования законов распределения различного рода погрешностей измерения. Изучены распределения погрешностей электромеханических приборов на кернах, электронных приборов для измерения температур и усилий, цифровых приборов с ручным уравновешиванием. Объем выборок экспериментальных данных для каждого экземпляра составлял 100–400 отсчетов. Оказалось, что 46 из 47 распределений значимо отличались от нормального. Исследована форма распределения погрешностей у 25 экземпляров цифровых вольтметров Щ-1411 в 10 точках диапазона. Результаты аналогичны. Дальнейшие сведения содержатся в [55]. В лаборатории прикладной математики Тартуского государственного университета проанализировано 2500 выборок из архива реальных статистических данных. В 92% случаев гипотезу нормальности пришлось отвергнуть. 
	Анализ, проведенный в [68, 73], показал, что распределения реальных данных почти всегда отличаются от тех, которые включены в параметрические семейства. Отличия могут быть большими или меньшими, но они всегда есть. Каково влияние этих отличий на свойства процедур анализа данных? Иногда оно исчезает при росте объемов данных, как для доверительного оценивания математического ожидания, иногда является заметным (как при оценивании высших моментов), иногда делает процедуру полностью необоснованной (как для отбраковки выбросов) [73]. Следовательно, надо либо использовать непараметрические процедуры (в которых на функции распределения наложены лишь внутриматематические условия регулярности, например, условие непрерывности), в частности, при решении задач прогнозирования [49], либо изучать устойчивость основанных на параметрических моделях процедур по отношению к отклонениям распределений результатов наблюдений от предпосылок модели. Как говорят, изучать робастность статистических процедур (от robust (англ.) – крепкий, грубый) с использованием моделей и методов, приведенных в [58, 98, 110, 115, 122, 124] и др. Статистику интервальных данных ([73, гл.12], ([85, гл.4]) также можно отнести к робастной статистике.
	3.4. Устойчивость по отношению к допустимым преобразованиям шкал измерения.
	Борьба с неопределенностью может проводиться путем изменения вида данных, т.е. путем перехода к нечисловым данным, например, к более слабым шкалам измерения.
	Примером нечисловых данных являются результаты измерений в шкалах, отличных от абсолютной. Теория измерений [72] – один из разделов нечисловой статистики [85, 87]. Типы основных шкал измерения, их определения, примеры величин, измеренных в этих шкалах, группы допустимых преобразований приведены в табл. 1.1.
	Основное требование к статистическим алгоритмам: выводы, сделанные на основе данных, измеренных в шкале определенного типа, не должны меняться при допустимом преобразовании шкалы измерения этих данных. В частности, выводы могут быть адекватны реальности только тогда, когда они не зависят единицы измерения, выбранной исследователем.

Таблица 1.1
Основные шкалы измерения
Тип шкалы	Определение шкалы	Примеры	Группа допустимых преобразований 	
Шкалы качественных признаков	
Наименований 	Числа используют для различения объектов	Номера телефонов, паспортов, пол, ИНН, штрих-коды, УДК	Все взаимно-однозначные преобразования	
Порядковая	Числа используют для упорядочения объектов	Оценки экспертов, баллы ветров, отметки в школе, полезность, номера домов	Все строго возрастающие преобразования	
Шкалы количественных признаков
(описываются началом отсчета и единицей измерения)	
Интервалов	Начало отсчета и единица измерения произвольны	Потенциальная энергия, положение точки, температура по шкалам Цельсия и Фаренгейта*	Все линейные преобразования φ(x) = ax + b,
a и b произвольны, а>0	
Отношений	Начало отсчета задано, единица измерения произвольна	Масса, длина, мощность, напряжение, сопротивление, температура по Кельвину, цены	Все подобные преобразования φ(x) = ax, 
а произвольно, а>0	
Разностей	Начало отсчета произвольно, единица измерения задана 	Время**	Все преобразования сдвига φ(x) = x + b,
b произвольно	
Абсолютная	Начало отсчета и единица измерения заданы	Число людей в данном помещении	Только тождественное преобразование φ(x) = x	
	* Если 0С - температура (в градусах) по шкале Цельсия, а 0F - температура по шкале Фаренгейта, то 
.
	** Согласно новой статистической хронологии, разработанной группой акад. РАН А.Т. Фоменко, Иисус Христос родился в Крыму в 1152 г. [57].

	Это требование позволяет, например, указать вид допустимой средней величины в зависимости от шкалы, в которой измерены данные (табл. 1.2). Определим термины. 
	Общее понятие средней величины введено Огюстеном Луи Коши: средней величиной (средним по Коши) является любая функция f(X1, X2,...,Xn) такая, что при всех возможных значениях аргументов значение этой функции не меньше, чем минимальное из чисел X1, X2,...,Xn, и не больше, чем максимальное из этих чисел. 
	Для чисел X1, X2,...,Xn  средним по Колмогорову является 
G{(F(X1) + F(X2) +...+ F(Xn))/n},
где F - строго монотонная функция (т.е. строго возрастающая или строго убывающая), G - функция, обратная к F. 
	Конкретизацией основного требования к алгоритмам анализа данных является условие устойчивости результата сравнения средних (УУРСС): неравенства 
f(Y1, Y2,...,Yn) <  f(Z1, Z2,...,Zn).
f((Y1), (Y2),..., (Yn)) < f((Z1), (Z2),..., (Zn)),
должны быть равносильны для любых чисел Y1, Y2,...,Yn, Z1, Z2,...,Zn и любого допустимого преобразования  из группы допустимых преобразований , задающей шкалу.

Таблица 1.2
Выбор вида средних величин в зависимости от шкалы измерения
Тип шкалы	Вид средних	Средние, удовлетворяющие УУРСС	
Порядковая	По Коши 	Члены вариационного ряда. Медианы	
Интервальная	По Колмогорову	Среднее арифметическое	
Отношений	По Колмогорову	Степенные средние с F(X) = XC, С0, и среднее геометрическое	

	На основе теории, развитой в [58, 62, 72], получен цикл теорем, кратко описанный в табл. 1.2.

	3.5. Нечисловая статистика как часть теории устойчивости.
	В многообразии моделей и методов анализа данных нами выделена и развита как самостоятельная область нечисловая статистика [85] (статистика объектов нечисловой природы [58, 87], статистика нечисловых данных [73]). Примерами объектов нечисловой природы являются значения качественных признаков, т.е. результаты кодировки объектов с помощью заданного перечня категорий (градаций); упорядочения (ранжировки) экспертами образцов продукции (при оценке её технического уровня и конкурентоспособности)) или заявок на проведение научных работ (при проведении конкурсов на выделение грантов); классификации, т.е. разбиения объектов на группы сходных между собой (кластеры); толерантности, т.е. бинарные отношения, описывающие сходство объектов между собой, например, сходство организационных структур промышленных предприятий; результаты парных сравнений или контроля качества продукции по альтернативному признаку («годен» - «брак»), т.е. последовательности из 0 и 1; множества (обычные или нечеткие), например, перечни рекомендуемых к осуществлению инновационных проектов, составленные экспертами независимо друг от друга; слова, предложения, тексты; вектора, координаты которых - совокупность значений разнотипных признаков, например, результат составления отчета о деятельности промышленного предприятия или анкета эксперта, в которой ответы на часть вопросов носят качественный характер, а на часть - количественный; ответы на вопросы экспертной, маркетинговой или социологической анкеты, часть из которых носит количественный характер (возможно, интервальный), часть сводится к выбору одной из нескольких подсказок, а часть представляет собой тексты; и т.д. Интервальные данные тоже можно рассматривать как пример объектов нечисловой природы, а именно, как частный случай нечетких множеств. Отметим, что теория нечетких множеств тесно связана с теорией случайных множеств, а именно, нечеткие множества естественно рассматривать как «проекции» случайных множеств, за каждой системой нечетких множеств видеть систему случайных множеств [58, 61, 68, 73, 85].
	В чем принципиальная новизна нечисловой статистики? Для классической статистики характерна операция сложения. При расчете выборочных характеристик распределения (выборочное среднее арифметическое, выборочная дисперсия и др.), в регрессионном анализе и других областях этой научной дисциплины постоянно используются суммы. Математический аппарат - законы больших чисел, Центральная предельная теорема и другие теоремы - нацелены на изучение сумм. В нечисловой же статистике нельзя использовать операцию сложения, поскольку элементы выборки лежат в пространствах, где нет операции сложения. Методы обработки нечисловых данных основаны на принципиально ином математическом аппарате - на применении различных расстояний в пространствах объектов нечисловой природы.
	Как показали многочисленные опыты, человек более правильно (и с меньшими затруднениями) отвечает на вопросы качественного, например, - сравнительного, характера, чем количественного. Так, ему легче сказать, какая из двух гирь тяжелее, чем указать их примерный вес в граммах [5]. Поэтому нечисловая статистика отражает потребности экспертных оценок [20] и технологий управления (менеджмента), в частности, контроллинга [66, 82].
	3.6. Устойчивость по отношению к временным характеристикам (моменту начала реализации проекта, горизонту планирования).
	Перейдем к применению математических методов исследования для модернизации управления предприятиями и организациями. Для решения задач управления используют экономико-математические методы и модели. В качестве первого примера рассмотрим математические задачи, решенные для обоснования стратегического планирования.
	При разработке стратегии развития промышленного предприятия одна из основных проблем – целеполагание. Поскольку естественных целей обычно несколько, то при построении формализованных экономико-математических моделей приходим к задачам многокритериальной оптимизации. Поскольку одновременно по нескольким критериям оптимизировать невозможно (например, невозможно добиться максимальной прибыли при минимуме затрат), то для адекватного применения экономико-математических методов и моделей необходимо тем или иным образом перейти к однокритериальной постановке (либо, выделив множество оптимальных по Парето альтернатив, применить экспертные технологии выбора). При выборе вида единого критерия целесообразно использовать следующую полученную нами характеризацию моделей с дисконтированием.
	Пусть динамику развития рассматриваемой экономической системы можно описать последовательностью , где переменные xj, j = 1, 2, ..., m, лежат в некотором пространстве Х, возможно, достаточно сложной природы. Положение экономической системы в следующий момент не может быть произвольным, оно связано с положением в предыдущий момент. Проще всего принять, что существует некоторое множество К такое, что . Результат экономической деятельности за j-й период описывается величиной . Зависимость не только от начального и конечного положения, но и от номера периода объясняется тем, что через номер периода осуществляется связь с общей (внешней) экономической ситуацией. Желая максимизировать суммарные результаты экономической деятельности, приходим к постановке стандартной задачи динамического программирования: 
	.	(1.1)
При обычных математических предположениях максимум достигается.
	Часто применяются модели, приводящие к частному случаю (1.1):
	.	(1.2)
Это - модели с дисконтированием (- дисконт-фактор). Естественно выяснить, какими «внутренними» свойствами выделяются задачи типа (1.2) из всех задач типа (1.1).
	Представляет интерес изучение и сравнение между собой планов возможного экономического поведения на k шагов  и . Естественно сравнение проводить с помощью описывающих результаты экономической деятельности функций, участвующих в задачах (1.1) и (1.2): план Х1 лучше плана Х2 при реализации с момента i, если
          (1.3)  	
Будем писать Х1R(i)Х2, если выполнено неравенство (1.3), где R(i) - бинарное отношение на множестве планов, задающее упорядочение планов отношением «лучше при реализации с момента i». 
	Ясно, что упорядоченность планов на k шагов, определяемая с помощью бинарного отношения R(i), может зависеть от i, т.е. «хорошесть» плана зависит от того, с какого момента i он начинает осуществляться. С точки зрения реальной экономики это вполне понятно. Например, планы действий, вполне рациональные для периода стабильного развития, нецелесообразно применять в период гиперинфляции. И наоборот, приемлемые в период гиперинфляции операции, не принесут эффекта в стабильной обстановке.  
	Однако, как легко видеть, в моделях с дисконтированием (1.2) все упорядочения R(i) совпадают, i = 1,2, …, m-k. Оказывается, верно и обратное: если упорядочения совпадают, то мы имеем дело с задачей (1.2) - с задачей с дисконтированием, причем достаточно совпадения только при k = 1,2. Сформулируем более подробно предположения об устойчивости упорядочения планов. 
	(I). Пусть . Верно одно из двух: либо  для всех , либо  для всех .
	(II). Пусть . Верно одно из двух: либо  для всех , либо  для всех .
	Нами установлено, что из условий устойчивости упорядоченности планов (I) и (II) следует существование констант  и , таких, что 
.
Поскольку прибавление константы не меняет точки, в которой функция достигает максимума, то последнее соотношение означает, что условия устойчивости упорядоченности планов (I) и (II) характеризуют (другими словами, однозначно выделяют) модели с дисконтированием среди всех моделей динамического программирования. Другими словами, устойчивость хозяйственных решений во времени эквивалентна использованию моделей с дисконтированием; применяя модели с дисконтированием, предполагаем, что экономическая среда стабильна; если прогнозируем существенное изменение взаимоотношений хозяйствующих субъектов, то вынуждены отказаться от использования моделей типа (1.2).
	Перейдем к проблеме горизонта планирования. Только задав интервал времени, можно на основе экономико-математических методов и моделей принять оптимальные решения и рассчитать ожидаемую прибыль. Проблема «горизонта планирования» состоит в том, что оптимальное поведение зависит от того, на какое время вперед планируют, а выбор этого горизонта зачастую не имеет рационального обоснования. Однако от него зависят принимаемые решения и соответствующие этим решениям экономические результаты. Например, при коротком периоде планирования целесообразны лишь инвестиции (капиталовложения) в оборотные фонды предприятия, и лишь при достаточно длительном периоде – в основные фонды. Однозначный выбор горизонта планирования обычно не может быть обоснован, это – нечисловая экономическая величина. Предлагаем справиться с противоречием путем использования асимптотически оптимальных планов.
	Рассмотрим модель (1.2) с , т.е. модель без дисконтирования

При каждом m существует оптимальный план , при котором достигает максимума оптимизируемая функция. Поскольку выбор горизонта планирования, как правило, нельзя рационально обосновать, хотелось бы построить план действий, близкий к оптимальному плану при различных горизонтах планирования. Это значит, что целью является построение бесконечной последовательности  такой, что ее начальный отрезок длины m, т.е. , дает примерно такое же значение оптимизируемого функционала, как и значение для оптимального плана . Бесконечную последовательность  с указанным свойством назовем асимптотически оптимальным планом.
	Выясним, можно ли использовать для построения асимптотически оптимального плана непосредственно оптимальный план. Зафиксируем k и рассмотрим последовательность , m = 1, 2, ... . Примеры показывают, что, во-первых, элементы в этой последовательности будут меняться; во-вторых, они могут не иметь пределов. Следовательно, оптимальные планы могут вести себя крайне нерегулярно, а потому в таких случаях их нельзя использовать для построения асимптотически оптимальных планов.
	Нами установлено [58, 74] существование асимптотически оптимальных планов: можно указать такие бесконечные последовательности , что

С помощью такого подхода решается проблема горизонта планирования - надо использовать асимптотически оптимальные планы, не зависящие от горизонта планирования. Оптимальная траектория движения состоит из трех участков - начального, конечного и основного, а основной участок - это движение по магистрали (аналогия с типовым движением автотранспорта).
	3.7. Устойчивость в моделях конкретных процессов управления промышленными предприятиями.
	В качестве примера рассмотрим устойчивость к изменению коэффициентов модели и объемов партий в моделях управления запасами. Так, для классической модели Вильсона управления материальными ресурсами в результате строгой постановки задачи оптимизации в ее естественной общности выявлен ряд неклассических эффектов. 
	Пусть  - интенсивность спроса, s – плата за хранение единицы товара в течение единицы времени, g – плата за доставку одной партии, T – интервал (горизонт) планирования. По известной «формуле квадратного корня»  

Найдем неотрицательное целое число n такое, что

Наименьшее из f(Q1) и f(Q2) – минимальные средние издержки, а то из Q1 и Q2, на котором достигается минимум – оптимальный размер партии, 
.
Таким образом, «формула квадратного корня», как правило, не дает оптимальный план, а только асимптотически оптимальный. 
	По статистическим данным можно оценить возможные отклонения  интенсивности спроса , а затем найти рациональную точность  определения платы за хранение s и рациональную точность  определения платы за доставку g согласно принципу уравнивания погрешностей:

Стремиться к более точному определению параметров s и g нецелесообразно, как следствие, нет необходимости выбирать между конкурирующими методиками их расчета.
	Изучение устойчивости позволило получить практически полезные выводы. Так, для кальцинированной соды на Реутовской химбазе Московской области вызванное отклонениями параметров модели максимальное относительное увеличение суммарных затрат не превосходило 26% (колебания по кварталам от 22,5% до 25,95%). Фактические издержки составляли от 260% до 349% от оптимального уровня. внедрение модели Вильсона в практику управления запасами на Реутовской химбазе дает возможность снизить издержки по доставке и хранению кальцинированной соды в 2,1 раза.
	Разработана [74] двухуровневая модель управления материальными ресурсами промышленного предприятия для случая нестационарного спроса, найдены оптимальные значения управляющих параметров, установлена их устойчивость относительно изменения горизонта (интервала) планирования. В этой модели размеры заявок Xj независимы и одинаково распределены, τ(Т) – число заявок за время Т. Оптимальные уровни (при ) таковы:
, ,
где h – издержки от дефицита единицы товара в течение единицы времени.
	3.8. Устойчивость характеристик инвестиционных проектов к изменению коэффициентов дисконтирования с течением времени – частный случай постановок задач устойчивости в рамках статистики интервальных данных ([73, разд.12.7], [3]). Другой частный случай – применение линейного регрессионного анализа интервальных данных при анализе и прогнозировании затрат предприятия ([85, разд.4.4], [21]).
	Итак, в настоящей главе разработана общая схема устойчивости, позволяющая проводить разработку и развитие математических методов и моделей на основе единого методологического подхода к изучению устойчивости выводов по отношению к допустимым отклонениям исходных данных и предпосылок модели. Возможности общего подхода продемонстрированы на примере восьми конкретных постановок задач устойчивости. Рассмотрена устойчивость по отношению к изменению данных (как частный случай - устойчивость характеристик инвестиционных проектов к изменению коэффициентов дисконтирования с течением времени), к изменению объема данных (объема выборки), к изменению распределений данных. Поскольку борьба с неопределенностью может проводиться путем изменения вида данных, т.е. путем перехода к нечисловым данным, то рассмотрены основные идеи нечисловой статистики, в том числе теории измерений. Обсуждается устойчивость по отношению к временным характеристикам (моменту начала реализации проекта, горизонту планирования) и устойчивость в моделях конкретных процессов управления промышленными предприятиями (на примере устойчивости к изменению коэффициентов модели и объемов партий в моделях управления запасами).
	Для обоснованного практического применения математических и моделей процессов управления должна быть изучена устойчивость получаемых с их помощью выводов по отношению к допустимым отклонениям исходных данных и предпосылок моделей. Это требование вытекает из нужд практики и находится вне математики, оно относится к методологии [52] и философии математики [88]. В главе 1 описаны подходы к решению этой проблемы и приведены примеры, демонстрирующие теоретическую значимость и практическую пользу получаемых при изучении устойчивости научных результатов.

2. Методология моделирования экспертных технологий 

	В настоящее время не существует научно обоснованной общепринятой классификации методов и технологий экспертных оценок и тем более - однозначных рекомендаций по их применению. По нашему мнению, наиболее продвинутые результаты в рассматриваемой области были получены в результате работы неформального научного коллектива вокруг комиссии «Экспертные оценки» Научного совета АН СССР по комплексной проблеме «Кибернетика», организованной в 70-х годах. В его деятельности авторы отчета принимали непосредственное участие. Глава 2 подготовлена в рамках методологии, развиваемой этим научным коллективом. 

2.1. Разработка теоретических основ и методологии
 экспертных оценок
 
	Классические методы экспертных оценок. Экспертные оценки активно использовались с незапамятных времен. После Второй мировой войны в рамках мощного научного движения, на знаменах которого сверкали модные 50 лет назад термины «кибернетика», «исследование операций», «системный подход», выделилась самостоятельная научно-практическая дисциплина – экспертные оценки. Сложились методы сбора и анализа экспертных оценок, которые мы сейчас называем классическими. В 60-70-е гг. они освоены в нашей стране, доработаны и успешно применены. И только потом, в 70-е гг., начались активные самостоятельные научные исследования, была сформирована полностью оригинальная отечественная научная школа в области экспертных оценок. Нашей стране принадлежит мировой приоритет в целом ряде направлений, о некоторых из которых речь пойдет ниже. 
	Вполне естественно, что сначала в нашей стране появились публикации о классических методах экспертных оценок (см., например, [10, 11, 101]). Речь идет о простейших методах, не требующих развитого математического аппарата. 
	С одной стороны, такие публикации были полезны, позволив широким массам специалистов познакомиться с основными идеями экспертных оценок. До сих пор классические методы активно используются в практической работе и излагаются в учебной литературе.
	С другой стороны, как обычно бывает во многих областях деятельности, первоначальные достаточно тривиальные соображения широко распространились, вошли в массовое сознание инженеров и управленцев (менеджеров) и стали тормозом на пути внедрения более новых продвинутых результатов в области экспертных оценок, описанных, например, в работах [14, 26, 32, 43, 44, 92]. 
	Вспомним слова великого физика Макса Планка, создателя квантовой теории света: «Новая научная идея редко внедряется путем постепенного убеждения и обращения противников, редко бывает, что Савл становится Павлом. В действительности дело происходит так, что оппоненты постепенно вымирают, а растущее поколение с самого начала осваивается с новой идеей». 	Необычность рассматриваемой ситуации в области экспертных оценок состоит в том, что новые научные идеи появились всего через несколько лет после широкого распространения в нашей стране классических методов экспертных оценок. Но – головы возможных пользователей были уже оккупированы тривиальностями. В результате многие превосходные с научной точки зрения и высокоэффективные в приложениях результаты отечественных исследователей остаются малоизвестными, хотя получены еще в 70-е годы. 
	Центром исследований является всесоюзный (ныне всероссийский) научно-исследовательский семинар «Экспертные оценки и анализ данных». Он работает с 1973 г., сначала в МГУ им. М.В. Ломоносова, а затем в Институте проблем управления РАН. В разные годы им руководили д.ф.-м.н. Ю.Н. Тюрин, д-ра техн. наук Б.Г. Литвак, А.И. Орлов, А.А. Дорофеюк, Ф.Т. Алескеров, Д.А. Новиков, Ю.В. Сидельников. В работе семинара участвовали сотни исследователей. 
	Научные результаты мирового уровня. Участники неформального научного коллектива участников семинара обычно начинали с освоения современных зарубежных идей, переходя затем к самостоятельным исследованиям, приводящим, как правило, к новым научным результатам мирового значения. Рассмотрим несколько сюжетов.
	Так, освоив проблематику теории измерений, участники семинара перешли к изучению инвариантных алгоритмов. Основной полученный результат мирового уровня – характеризация средних величин шкалами измерения. Найдены необходимые и достаточные условия, выделяющие средние величины, результат сравнения которых инвариантен относительно допустимых преобразований в тех или иных шкалах. Цикл теорем о средних величинах – наиболее важное достижение в теории измерений, полученное в нашей стране.
	В теории нечеткости также был получен принципиально важный результат мирового уровня – найден способ сведения теории нечетких множеств к теории случайных множеств. Это – основное отечественное достижение в теории нечеткости. 
	Большое влияние на развитие исследований в области экспертных оценок оказали работы американского математика Джона Кемени, прежде всего книга [25]. В ней был предложен подход к аксиоматическому введению расстояний между нечисловыми ответами экспертов (на примере упорядочений) и дан метод нахождения итогового мнения комиссии экспертов как решения оптимизационной задачи. Участники семинара по примеру Кемени построили аксиоматику для введения расстояний между различными объектами нечисловой природы. В обзоре [102] сведены вместе результаты более чем 150 исследований. В честь Дж. Кемени расстояния между элементами различных пространств бинарных отношений сейчас называют расстояниями Кемени, а введенные на их основе средние в этих пространствах – медианами Кемени.
	Необходимо добавить, что и после 1985 г., когда была выпущена обзорная работа Г.В. Раушенбаха [102] по публикациям, базирующимся на подходе Кемени к аксиоматическому введению меры близости между нечисловыми ответами экспертов,  появлялись новые результаты. Так, например, в работе Ю.В. Сидельникова [105] были введены пять аксиом и доказано, что эти аксиомы на множестве векторов предпочтения однозначно определяют меру близости. Аналогичный результат был получен и на множестве ранжирований. В работе [91] аксиоматически введена метрика подобия и изучена с помощью вероятностной модели. 
	Большое внимание уделялось различным вариантам парных и множественных сравнений. Если на Западе рассматривалась параметрическая теория (модели Льюса, Бредли-Терри, Терстоуна), то в нашей стране была построена не имеющая аналогов непараметрическая теория парных сравнений (люсианов), причем в асимптотике растущей размерности. 
	Итоги первого этапа работы семинара. В 70-е гг. было выпущено три сборника статей [112, 125, 127], содержащих научные труды участников семинара «Экспертные оценки и анализ данных». Эти сборники до сих пор являются актуальными, включенные в них работы содержат заметно более продвинутые научные результаты, чем публикации по «классическим методам экспертных оценок», поскольку последние опираются на идеи 40-60-х гг. Прошедшие десятилетия позволили более четко выявить теоретический смысл и прикладные возможности разработанных тогда подходов. 
	Полученные результаты были обобщены в ряде монографий, написанных руководителями и участниками семинара [35, 58, 61, 103], и прежде всего в неоднократно изданном программном докладе пяти наиболее активных и продуктивных исследователей [4, 5]. К сожалению, этот принципиально важный доклад не был развернут в подробную монографию. «Доклад пяти» – важная веха в развитии отечественных исследований в области экспертных оценок. Закончился период становления самостоятельной научно-прикладной дисциплины. К концу 70-х гг. экспертные оценки получили и организационное оформление – в рамках комиссии «Экспертные оценки» Научного совета АН СССР по комплексной проблеме «Кибернетика».
	Восьмидесятые годы. Научные исследования развивались вглубь и вширь. Регулярно выпускались сборники статей [7, 39, 40, 126], проводились всесоюзные конференции [17, 93]. Разумеется, работы по экспертным оценкам публиковались не только в изданиях семинара, но и во многих иных. Укажем для примера на работы руководителей семинара А.А. Дорофеюка [22] и Ю.В. Сидельникова [106], на монографии по многомерному шкалированию экспертных и иных данных [94, 113]. Авторы «доклада пяти» защитили докторские (Б.Г. Литвак, А.И. Орлов, Ю.Н. Тюрин) и кандидатские (Г.А. Сатаров, Д.С. Шмерлинг) диссертации. 
	Были выполнены многочисленные прикладные работы. В частности, разработаны комплексы нормативно-методических документов по экспертным методам управления качеством продукции (ГОСТы, методические указания и др.) и по экспертизе научно-исследовательских работ в медицине и биологии (методические рекомендации по проведению экспертной оценки планируемых и законченных научных работ в области медицины и по подготовке и проведению конкурса проектов исследований и разработок в области физико-химической биологии и биотехнологии). 
	Исследования по экспертным оценкам шли в тесном контакте с работами в области прикладной статистики и других статистических методов [68, 73], многокритериальной оптимизации [18, 97], математических методов в социологии [69] и т.п. В литературе экспертные оценки иногда выступают под теми или иными «псевдонимами». Например, академик РАН Н.Н. Моисеев в своих выдающихся научно-публицистических книгах [41, 42, 43] использовал термин «неформальные процедуры».

2.2. Статистика нечисловых данных

	Основным отечественным достижением последней четверти ХХ в. в области статистических методов анализа данных является создание статистики нечисловых данных (в других терминах, нечисловой статистики, статистики объектов нечисловой природы). Ныне статистика нечисловых данных – одна из четырех основных областей прикладной статистики, наряду со статистикой числовых величин, многомерным статистическим анализом и статистикой временных рядов [68, 73]. 
	Для нас важно, что именно необходимость разработки адекватных методов анализа экспертных мнений стимулировала развитие статистики нечисловых данных. Не случайно основополагающая статья [59], излагающая программу построения новой области статистики, опубликована в одном из первых сборников трудов семинара.  
	Кратко обсудим суть статистики нечисловых данных. Сначала напомним, что исходный объект в прикладной статистике - это выборка, т.е. совокупность независимых одинаково распределенных случайных элементов. Какова природа этих элементов? В классической математической статистике элементы выборки - это числа. В многомерном статистическом анализе - вектора. А в нечисловой статистике элементы выборки - это объекты нечисловой природы, которые нельзя складывать и умножать на числа. Объекты нечисловой природы лежат в пространствах, не имеющих векторной структуры.
	Примеры объектов нечисловой природы:
	- значения качественных признаков, т.е. результаты кодировки объектов экспертизы с помощью заданного перечня категорий (градаций); 
	- упорядочения (ранжировки) экспертами образцов продукции (при оценке её технического уровня и конкурентоспособности)) или заявок на проведение научных работ (при проведении конкурсов на выделение грантов);
	- классификации, т.е. разбиения объектов экспертизы на группы сходных между собой (кластеры);
	- толерантности, т.е. бинарные отношения, описывающие сходство объектов между собой, например, сходства тематики научных работ, оцениваемого экспертами с целью рационального формирования экспертных советов внутри определенной области науки;
	- результаты парных сравнений или контроля качества продукции по альтернативному признаку («годен» - «брак»), т.е. последовательности из 0 и 1; 
	- множества (обычные или нечеткие), например, зоны, пораженные коррозией, или перечни возможных причин аварии, составленные экспертами независимо друг от друга;
	- слова, предложения, составленные из них тексты;
	- векторы, координаты которых - совокупность значений разнотипных признаков, например, результат составления статистического отчета о научно-технической деятельности организации (т.н. форма № 1-наука) или анкета эксперта, в которой ответы на часть вопросов носят качественный характер, а на часть - количественный;
	- ответы на вопросы экспертной, маркетинговой или социологической анкеты, часть из которых носит количественный характер (возможно, интервальный), часть сводится к выбору одной из нескольких подсказок, а часть представляет собой тексты; и т.д.
	Интервальные данные тоже можно рассматривать как пример объектов нечисловой природы, а именно, как частный случай нечетких множеств. А именно, если характеристическая функция нечеткого множества равна 1 на некотором интервале и равна 0 вне этого интервала, то задание нечеткого множества эквивалентно заданию интервала. Напомним, что теория нечетких множеств в определенном смысле сводится к теории случайных множеств [58, 61].
	С 70-х гг. в основном на основе запросов теории экспертных оценок (а также технических исследований, экономики, социологии и медицины) развивались конкретные направления статистики объектов нечисловой природы. Были установлены основные связи между конкретными видами таких объектов, разработаны для них базовые вероятностные модели. Итоги подведены в монографии [58], в предисловии к которой впервые появился термин «статистика объектов нечисловой природы».
	Следующий этап (80-е гг.) - выделение статистики нечисловых данных в качестве самостоятельной дисциплины, ядром которой являются методы статистического анализа данных произвольной природы. Для работ этого периода характерна сосредоточенность на внутренних проблемах нечисловой статистики. Основные результаты коллективного труда подведены в сборнике научных работ [6]. Он подготовлен совместно подкомиссией «Статистика объектов нечисловой природы» комиссии «Экспертные оценки» Научного совета АН СССР по комплексной проблеме «Кибернетика» и Институтом социологических исследований АН СССР.
	К 90-м гг. статистика объектов нечисловой природы с теоретической точки зрения была достаточно хорошо развита, основные идеи, подходы и методы были разработаны и изучены математически, в частности, доказано достаточно много теорем. Однако она оставалась недостаточно апробированной на практике. И в 90-е гг. наступило время перейти от математико-статистических исследований к применению полученных результатов на практике. К этому периоду относится публикация большой серии статей в рамках раздела «Математические методы исследования» журнала «Заводская лаборатория» (основного места публикации в СССР и РФ работ по прикладной статистике), посвященных теории и практике нечисловой статистики.
	В статистике объектов нечисловой природы одна и та же математическая схема может с успехом применяться во многих областях, а потому ее лучше всего формулировать и изучать в наиболее общем виде, для объектов произвольной природы. 
	Основные идеи статистики объектов нечисловой природы. В чем принципиальная новизна нечисловой статистики? Для классической математической статистики характерна операция сложения. При расчете выборочных характеристик распределения (выборочное среднее арифметическое, выборочная дисперсия и др.), в регрессионном анализе и других областях этой научной дисциплины постоянно используются суммы. Математический аппарат - законы больших чисел, Центральная предельная теорема и другие теоремы - нацелены на изучение сумм. В нечисловой же статистике нельзя использовать операцию сложения, поскольку элементы выборки лежат в пространствах, где нет операции сложения. Методы обработки нечисловых данных основаны на принципиально ином математическом аппарате - на применении различных расстояний в пространствах объектов нечисловой природы. Точнее, речь идет об использовании мер различия, близости, метрик и псевдометрик (псевдометрика отличается от метрики тем, что в системе из четырех аксиом метрики отбрасывается условие: если d(x, y) = 0, то x = y).
	Кратко рассмотрим несколько идей, развиваемых в статистике объектов нечисловой природы для данных, лежащих в пространствах произвольного вида. Они нацелены на решение классических задач описания данных, оценивания, проверки гипотез - но для неклассических данных, а потому неклассическими методами.  
	Первой обсудим проблему определения средних величин. В рамках теории измерений удается указать вид средних величин, соответствующих тем или иным шкалам измерения. В классической математической статистике средние величины вводят с помощью операций сложения (выборочное среднее арифметическое, математическое ожидание) или упорядочения (выборочная и теоретическая медианы). В пространствах произвольной природы средние значения нельзя определить с помощью операций сложения или упорядочения. Теоретические и эмпирические средние приходится вводить как решения экстремальных задач. Теоретическое среднее определяется как решение задачи минимизации математического ожидания (в классическом смысле) расстояния от случайного элемента со значениями в рассматриваемом пространстве до фиксированной точки этого пространства (минимизируется указанная функция от этой точки). Для эмпирического среднего математическое ожидание берется по эмпирическому распределению, т.е. берется сумма расстояний от некоторой точки до элементов выборки и затем минимизируется по этой точке. При этом как эмпирическое, так и теоретическое средние как решения экстремальных задач могут быть не единственными элементами рассматриваемого пространства, а являться некоторыми множествами таких элементов, которые могут оказаться и пустыми. Тем не менее удалось сформулировать и доказать законы больших чисел для средних величин, определенных указанным образом, т.е. установить сходимость (в специально определенном смысле) эмпирических средних к теоретическим.
	Оказалось, что методы доказательства законов больших чисел допускают существенно более широкую область применения, чем та, для которой они были разработаны. А именно, удалось изучить асимптотику решений экстремальных статистических задач, к которым, как известно, сводится большинство постановок прикладной статистики. В частности, кроме законов больших чисел установлена и состоятельность оценок минимального контраста, в том числе оценок максимального правдоподобия и робастных оценок. К настоящему времени подобные оценки изучены также и в статистике интервальных данных.
	В статистике в пространствах произвольной природы большую роль играют непараметрические оценки плотности, используемые, в частности, в различных алгоритмах регрессионного, дискриминантного, кластерного анализов. В нечисловой статистике предложен и изучен ряд типов непараметрических оценок плотности в пространствах произвольной природы, в том числе в дискретных пространствах. В частности, доказана их состоятельность, изучена скорость сходимости и установлен примечательный факт совпадения наилучшей скорости сходимости в произвольном пространстве с той, которая имеет быть в классической теории для числовых случайных величин. Известна роль непараметрических оценок плотности при  построении бинарных рейтингов.
	Дискриминантный, кластерный, регрессионный анализы в пространствах произвольной природы основаны либо на параметрической теории - и тогда применяется подход, связанный с асимптотикой решения экстремальных статистических задач - либо на непараметрической теории - и тогда используются алгоритмы на основе непараметрических оценок плотности.
	Для анализа нечисловых, в частности, экспертных данных весьма важны методы классификации. С другой стороны, наиболее естественно ставить и решать задачи классификации, основанные на использовании расстояний или показателей различия, в рамках статистики объектов нечисловой природы. Это касается как распознавания образов с учителем (другими словами, дискриминантного анализа), так и распознавания образов без учителя (т.е. кластерного анализа). 
	Для проверки гипотез могут быть использованы статистики интегрального типа, в частности, типа омега-квадрат. Любопытно, что предельная теория таких статистик, построенная первоначально в классической постановке, приобрела естественный (завершенный, изящный) вид именно для пространств произвольного вида, поскольку при этом удалось провести рассуждения, опираясь на базовые математические соотношения, а не на те частные (с общей точки зрения), что были связаны с конечномерным пространством.
	Представляют практический интерес результаты, связанные с конкретными областями статистики объектов нечисловой природы, в частности, со статистикой нечетких множеств и со статистикой случайных множеств (напомним, что теория нечетких множеств в определенном смысле сводится к теории случайных множеств), с непараметрической теорией парных сравнений и бернуллиевских векторов (люсианов), с аксиоматическим введением метрик в конкретных пространствах объектов нечисловой природы, и с рядом других конкретных постановок. Применительно к экспертным оценкам важная роль конкретных методов статистики нечисловых данных продемонстрирована в большом числе литературных источников.

2.3. Современный этап развития экспертных оценок

	С конца 80-х гг. число научных работников в нашей стране уменьшилось в разы. На порядок сократилось количество участников научных семинаров и конференций. Однако отечественная научная школа в области экспертных оценок успела достичь стадии зрелости и устояла. Этому способствовала и востребованность экспертных технологий во многих областях человеческой деятельности. Слово «эксперт» стало модным. 
	Зрелость научной области проявилась в том, что ведущие отечественные специалисты выпустили заметно большее число монографий, подводящих итоги исследования, чем в предыдущие десятилетия [2, 8, 15, 16, 33, 34, 36, 38, 53, 56, 71, 74, 107]. Часто экспертные оценки рассматривались вместе с проблемами принятия решений [34, 36, 71, 74]. Большое внимание уделялось проблеме выбора [2], в том числе в условиях многокритериальности [56]. Были проанализированы процедуры голосования в рамках комиссий экспертов [16]. 
	Разделы, посвященные экспертным оценкам, включают в учебники по различным дисциплинам, в частности, по теории принятия решений [36, 71, 74], по эконометрике и прикладной статистике [68, 73]. Это свидетельствует о том, что теория и практика экспертных оценок вошла в «базовое ядро» знаний, которыми должны владеть инженеры, менеджеры, экономисты, специалисты в иных областях.
	Поток новых идей, подходов, концепций, методологий, методов, конкретных постановок, моделей, теорем и алгоритмов в области экспертных оценок не только не иссякает, но год от году усиливается. Назовем некоторые из новшеств.
	Теория организационных систем [53], прежде всего, теория активных систем [15], т.е. систем, элементы которых обладают собственными интересами и волей, позволяющей действовать независимо, нуждаются в развитии и применении современных методов экспертных оценок. Подходы теории активных систем особенно интересны для решения задач управления предприятиями и другими социально-экономическими структурами. Такой современный раздел менеджмента, как контроллинг [29, 125], немыслим без использования продвинутых методов экспертных оценок [66], реализованных на основе современных информационных технологий. 
	Принципиально важным является появление работ по экспертным технологиям [38, 107]. От разработки и изучения отдельных методов экспертных оценок осуществлен переход к разработке процедур, включающих все этапы технологического процесса сбора и анализа экспертной информации. Произошел качественный скачок – от отдельных инструментов интеллектуальной деятельности к целостным технологиям такой деятельности. Аналогичный скачок осуществлен и в области статистических методов – появились высокие статистические технологии [67, 68, 73]. 
	Из западных разработок наибольший интерес вызвал метод анализа иерархий Т. Саати [104]. От его недостатков удалось избавиться сотрудникам Института проблем управления им. В.А.Трапезникова. Они разработали метод векторной стратификации [8], согласно которому иерархическая структура показателей комплексного критерия формируется путем дихотомической конкретизации документированной формулировки цели. 
	Из недавно разработанных принципиально новых подходов укажем в качестве примера на метод согласования кластеризованных ранжировок [20]. «Турнирный» метод ранжирования вариантов  впервые опубликован в 2005 г. Применению экспертных оценок для задач стратегического планирования посвящена работа [99]. Список легко продолжить. Мы ограничились здесь лишь наиболее заметными публикациями, в основном книжными.
	Состояние и перспективы экспертных оценок неоднократно анализировались ведущими специалистами [23, 37, 65, 108]. Отмечалось, что перед исследователями – большое поле деятельности. Например, в [65] отмечалась актуальность разработки методов анализа интервальных экспертных оценок, в которых мнения экспертов выражены интервалами. Основой для разработки таких методов может послужить статистика интервальных данных, рассмотренная в [73, 74]. Однако теория интервальных экспертных оценок стоит лишь в начале своего пути, хотя ее перспективность очевидна. 
	Экспертным оценкам уделено большое внимание в основополагающей монографии по статистике нечисловых данных [85], в которой также приведен обширный список литературных источников по развитию экспертных оценок в нашей стране. Книги и статьи по рассматриваемой тематике имеются в открытом доступе на сайте «Высокие статистические технологии» [128] и его форуме [130], в электронном еженедельнике «Эконометрика» [131] и на сайте Лаборатории экономико-математических методов в контроллинге МГТУ им. Н.Э. Баумана [129]. Методы экспертных оценок включены в учебные курсы «Организационно-экономическое моделирование», «Эконометрика», ведущиеся на факультете «Инженерный бизнес и менеджмент», используются в курсовых и дипломных работах, а также в послевузовском образовании.

2.4. Технологии и инструменты (модели, методы,  способы, процедуры, программные продукты), используемые в прогнозировании

	С целью подготовки Большой Российской Энциклопедии прогностики совместно с Международной академией исследований будущего была выявлена внутренняя структура предметной области «Технологии и инструменты (модели, методы, способы, процедуры, программные продукты), используемые в прогнозировании». Результаты представлены в настоящем разделе. С целью сокращения числа индексов в разделе принята автономная нумерация позиций. Выделено семь разделов:
	1. Математические модели и методы, используемые для прогнозирования;
	2. Дискретные и статистические методы анализа и обработки прогнозных данных;
	3. Методы и процедуры, позволяющие получить новое знание от специалистов;
	4. Общие технологии, используемые при разработке прогнозов, и их основные элементы;
	5. Синтез моделей и методов, как инструмент повышения качества прогнозов;
	6. Информационные технологии для разработки прогнозов;
	7. Верификация прогнозов, как реализация принципа обратной связи в технологии его получения.

1. Математические модели и методы, используемые для  прогнозирования

1.1. Статистические модели и методы прогнозирования

1.1.1.Моделирование зависимостей (регрессионный анализ и временные ряды)
1.1.1.1. Общие линейные и нелинейные регрессионные модели. 
1.1.1.2. Автоматический поиск регрессионных моделей 
1.1.1.3. Технология разработки прогнозной многофакторной экономико-математической модели регрессионного типа
1.1.1.4. Модели авторегрессии и авторегрессионная модель условной гетероскедастичности (ARCH) (включая модели Бокса-Дженкинса, Брауна) 
1.1.1.5. Адаптивные модели и адаптивные методы прогнозирования. 
1.1.1.6. Общие эконометрические модели.
1.1.1.7. Временные ряды в прогнозировании.
1.1.1.8. Экстраполяционные методы прогнозирования. 
1.1.1.9. Непараметрические статистические методы 

1.1.2. Методы классификации и визуализации
1.1.2.1. Методы классификации в прогнозировании 
1.1.2.2. Методы ближайшего соседа в прогнозировании 
1.1.2.3. Факторный анализ 
1.1.2.4. Методы визуализации (многомерного шкалирования) 

1.2. Нестатистические методы и модели прогнозирования

1.2.1. Теория управления и прогнозирование 
1.2.2. Прогнозирование для активных систем 
1.2.3. Имитационные модели.
1.2.4. Имитационные модели Римского клуба (в том числе модель Форрестера).
1.2.5. Игровые модели как аппарат для разработки активных прогнозов 
1.2.6. «Мягкие» модели в прогнозировании
1.2.7. Модели на основе стратегической матрицы
1.2.8. Многокритериальные модели 
1.2.9. Многокритериальные задачи принятия решений в нормативном прогнозировании 
1.2.10. Процедуры принятия решений на основе прогнозной информации: SMART, ELECTRE, REMBRANDT  
1.2.11. Спектральный анализ как инструмент прогнозирования 
1.2.12. Нейросетевое прогнозирование временных рядов 
1.2.13.  Интервальные методы в прогнозировании 
1.2.14. Технический анализ 
1.2.15. Метод аналогий 
1.2.16. Нечеткие модели в прогнозировании  
1.2.17. Производственные функции. 

1.3. Графовые, орграфовые, когнитивные и матричные модели представления объекта, прогноз которого необходимо разработать.

1.3.1. Графы в прогнозировании 
1.3.2. ПАТТЕРН. 
1.3.3. ПЕРТ 
1.3.4. Метод прогнозного графа 
1.3.5. Метод перекрестного взаимодействия 
1.3.6. Анализ на проблемных сетях
1.3.7. Метод решающих матриц
1.3.8. ПРОФИЛ 
1.3.9. QUEST  (Количественные оценки полезности для науки и техники). 
1.3.10. Когнитивные модели. 

2. Дискретные и статистические методы анализа и обработки прогнозных данных.

2.1. Дискретные методы анализа и обработки прогнозных данных

2.1.1. Структурно-аналитические модели, алгоритм и программное обеспечение классификационной обработки данных в пространстве ранговых оценок. 
2.1.2. ГОГ-метод упорядочения объектов экспертизы.
2.1.3. Метод медиан в прогнозировании.
2.1.4.  Интегральные индикаторы и экспертные оценки
2.1.5. Коэффициенты важности критериев в технологиях прогнозирования 
2.1.6. Процедуры, методы и алгоритмические операции, позволяющие получить выбранный вид экспертной оценки
2.1.7. Процедуры, методы и алгоритмические операции, позволяющие преобразовать один вид экспертной оценки в другой
2.1.8. Метод расстановки (judgmental bootstrapping). 
2.1.9. Экспертно-статистическая обработка информации и метод аналогов в прогнозировании коротких временных рядов. 
2.1.10. Экспертно-статистическая обработка информации и метод аналогов в 
прогнозировании коротких временных рядов.

2.2. Статистические методы анализа и обработки прогнозных данных

2.2.1. Статистический анализ экспертных оценок. 
2.2.2. Метод параметрических парных и множественных сравнений. 
2.2.3.  Метод непараметрических парных сравнений. 
2.2.4. Статистика объектов нечисловой природы в прогнозировании. 
2.2.5.  Интервальные методы в прогнозировании. 
2.2.6. Согласованность экспертных оценок (парные сравнения, люсианы и др.)
2.2.7. Коэффициенты корреляции (Пирсона, Спирмена, Кендалла, Стьюарта, множественный, обобщенный, векторный). 

3. Методы и процедуры, позволяющие получить новое знание от специалистов

3.1. Метод морфологического анализа и его модификации
3.2. Метод фокальных объектов и его модификации. 
3.3. Метод мозговой атаки 
3.4. Модификации метода мозговой атаки 
3.5. Процедура суда и ролевые игры 
3.6. Итеративные процедуры. 
3.7. Методы с элементами рефлексии: метод контрольных вопросов
3.8. Метод лицом к лицу, метод комиссий и совещаний
3.9. Метод номинальной группы 

4. Общие технологии, используемые при разработке прогнозов, 
и их основные элементы

4.1. Общая технология разработки экспертного прогноза и ее основные элементы. 
4.2.  Сценарная технология разработки прогнозов 
4.3. Методологические основы разработки сценариев для сложных систем с высоким уровнем неопределенностей 
4.4. Ситуационный анализ как специальная технология разработки экспертного политического прогноза. 
4.5. Регламент экспертного опроса 
4.6. Форсайт как технологии предвидения 

5. Синтез моделей и методов, как инструмент повышения качества прогнозов

5.1 Синтез различных типов экономико-математических моделей в рамках прогноза. 
5.2. Адаптивные комбинированные модели, предназначенные для прогнозирования. 
5.3. Комбинирование методов прогнозирования в программах Форсайта. 
5.4. Комбинированный прогноз 

6. Информационные технологии для разработки прогнозов

6.1. Информационные технологии, используемые для разработки прогнозов. 
6.2. Статистические пакеты - инструменты исследователя
6.3. Постоянно действующая автоматизированная прогнозирующая система. 
6.4. Экспертные системы для целей прогнозирования. 
6.5. Аналитический обзор программных продуктов, баз данных и знаний,  используемых в прогнозировании
6.6. Базы знаний для информационного обеспечения экспертного прогнозирования

7. Верификация прогнозов, как реализация принципа обратной связи в технологии его получения

7.1. Априорная верификация прогноза, разрабатываемого на основе экономико-математической модели 
7.2. Априорная верификация экспертного прогноза. 
7.3. Апостериорная верификация прогноза
7.4. Сопоставительный анализ по точности для экспертных оценок 
7.5. Об апостериорной оценке точности и надежности экономических прогнозов в зависимости от заданного горизонта предвидения и исходной (базовой) информации. 

3. Организационно-экономическое обеспечение моделирования инновационной деятельности в системе управления цепями поставок

	Инновационная деятельность и ее организационно-экономическое обеспечение, особенно в сфере наукоемкой продукции и высокотехнологичных производств, в том числе управления цепями поставок, находятся в центре внимания коллектива научно-учебного комплекса (факультета) «Инженерный бизнес и менеджмент» старейшего (основан в 1830 г.) технического университета России – МГТУ им. Н.Э. Баумана. Наш коллектив занимается проблемами производственного менеджмента, т.е. экономики и организации производства. Из многообразия проблем в этой области рассмотрим пять сюжетов:
	1. Научный менеджмент родился в Императорском Московском Техническом Училище (ныне – МГТУ им. Н.Э. Баумана).
	2. Основное ядро современной экономической теории – это не макроэкономика, а экономика предприятия (инженерная экономика).
	3. Три основных направления развития промышленного менеджмента - организация и управление жизненным циклом продукции, контроллинг и организационно-экономическое моделирование.
	4. Чем специалисты по экономике предприятия и производственному менеджменту могут помочь коллективам разработчиков новшеств? 
	5. Разработка теоретических основ и методологии информационно-аналитической поддержки процессов принятия решений в системах управления цепями поставок.
	Первые два сюжета посвящены нашему положению среди иных научных и учебных коллективов, следующие два – конкретным научно-прикладным работам, выполненным авторами отчета - сотрудниками научно-учебного комплекса (факультета) «Инженерный бизнес и менеджмент». Заключительный пятый сюжет дает общее представление о разработке теоретических основ и методологии моделирования системы управления поставками с целью организационно-экономического обеспечения информационно-аналитической поддержки процессов принятия управленческих решений.

3.1. «Русская система обучения ремеслам» и научный менеджмент 

	Обсудим «место рождения» менеджмента как науки. Хорошо известно, что «школа научного управления» основана на «русской системе обучения ремеслам», разработанной в Императорском Московском Техническом Училище (ныне МГТУ им. Н.Э. Баумана) во второй половине XIX века. А именно, в МГТУ им. Н.Э. Баумана (в то время – ИМТУ) был разработан способ обучения рациональным трудовым движениям, т.н. «русский метод обучения ремеслам», предвосхитивший научные результаты Ф.У. Тейлора и Ф.Б. Гильбрета. Метод стал широко известен во всем мире после демонстраций на Всемирных выставках в Вене (1873), где он был отмечен Большой золотой медалью, Филадельфии (1876), Париже (1878). Существо метода состояло в переходе от обучения изготовлению предметов к выполнению технологических операций, на которые раскладывается любая работа, в отыскании наилучших сочетаний операций и переходов, в быстрейшем овладении найденными стандартными приемами возможно большим числом работников. 
	В 70-е годы XIX века получил международное признание в распространение в США, Германии, Австрии, Франции и Швеции «Русский метод обучения ремеслам». Были выдвинуты четыре требования:
	1) минимальное время на изучение приемов работы;
	2) легкий контроль за последовательностью занятий;
	3) осмысленное систематическое усвоение приемов работы;
	4) легкий и удобный способ оценки успехов каждого воспитанника (в порядке возрастания сложности).
Главное в системе – пособия, дополняющие устные инструкции. Основные разработчики русского метода обучения ремеслам - Д.К. Советкин, А.П. Платонов. 
	Метод был хорошо известен в США. Президент Массачусетского технологического института Дж. Рункль писал директору ИМТУ В.К. Делла-Восу: «За Россией признан полный успех в решении столь важной задачи технического образования… В Америке после этого никакая иная система не будет употребляться» [51]. Поэтому нет никаких сомнений в том, что «русский метод обучения ремеслам» был усвоен и широко применялся американскими и западноевропейскими инженерами и менеджерами конца XIX – начала ХХ веков.
	Легко видеть, что «русский метод обучения ремеслам» содержит в себе все основные идеи «научной школы менеджмента», который обычно относят к началу ХХ в. На самом же деле место и время рождения современного менеджмента – Москва, 60-70-е годы XIX в. 
	Однако в литературе по менеджменту, внедренной в России конкурентами нашей страны, эта школа связывается исключительно с именами американцев Ф.У. Тейлора, Г. Форда и др. Аналогична ситуация с исследованиями по трудовой мотивации, где приоритет также принадлежит отечественным ученым. Традиционной стала ситуация, когда новшества разрабатываются в нашей стране, усваиваются за рубежом, а затем как западные достижения пропагандируются в России. Одним из сравнительно недавних примеров являются стандарты ИСО серии 9000 по менеджменту качества, появившиеся в 1987 г., которые являются аналогом «комплексных систем управления качеством продукции», разработанных в нашей стране еще в 50-е годы.
	Итак, геополитические конкуренты нашей страны считают необходимым все достижения приписать своим соотечественникам. Этим достигается несколько целей. США представляется лидером, а Россия – догоняющей стороной, вопреки исторической правде. Повышается конкурентоспособность американских управленческих разработок - в ущерб российским. Внимание сосредотачивается на устаревших концепциях, а современные разработки, выполненные вне США, попросту не рассматриваются. Например, ни в одном учебнике не рассматривается как новый этап менеджмента теория активных систем, созданная «незримым коллективом» на базе Института проблем управления РАН, или отечественные разработки по перспективному научно-практическому направлению, известному как контроллинг (за исключением нашего учебного пособия «Менеджмент» [89]). 
	Указанные действия геополитических конкурентов нашей страны укладываются в общую схему использования троянских технологий обучения в экономике и менеджменте. Подробнее такие технологии рассмотрены ниже.

3.2. Основное ядро современной экономической теории – экономика предприятия (инженерная экономика)

	Итак, наука об управлении «родилась» около 140 лет назад в МГТУ им. Н.Э. Баумана (тогда ИМТУ). Важные вехи дальнейшего развития [117, 118]:
	1929 г. – создание кафедры «Экономика и организация производства» http://www.ibm.bmstu.ru/ibm2/ , 
	1993 г. – организация на ее базе факультета (ныне – научно- учебного комплекса) «Инженерный бизнес и менеджмент» МГТУ им. Н.Э. Баумана http://www.ibm.bmstu.ru/ .
	Сфера деятельности факультета – промышленный менеджмент и управление производством. В соответствии с потребностями практики в 2005 г. введена новая учебная специальность 220701 «Менеджмент высоких технологий», относящаяся к тогда же введенному направлению подготовки дипломированных специалистов 220700 «Организация и управление наукоемкими производствами», предназначенному для обеспечения инженерами-менеджерами высокотехнологичных предприятий. 
	Специальность 220701 «Менеджмент высоких технологий» - техническая, а не экономическая (входит в сферу ответственности УМО вузов по университетскому политехническому образованию). Это не случайно. 
	Мы полагаем, что экономическую теорию надо избавить от крена в сторону хрематистики (по Аристотелю). Экономика – это наука о том, как производить, а не о том, как делить прибыль. Основное ядро современной экономической теории – это не макроэкономика, а экономика предприятия (инженерная экономика [30]). Повторим, преподавание менеджмента должно начинаться с «русской системы обучения ремеслам». А современный этап развития организационно-экономической науки – это менеджмент высоких технологий, организация и управление жизненным циклом продукции, контроллинг, организационно-экономическое моделирование, теория активных систем и другие направления работ, ведущихся в МГТУ им. Н.Э.Баумана, ИПУ РАН и иных научных центрах. 
	Третьему тысячелетию нужна новая организационно-экономическая теория. Именно так – менеджмент (или, если привычнее, теория управления людьми) и экономика вместе. Рабочее название этой теории (развиваемой прежде всего в Инновационном научно-образовательном центре МГТУ им. Н.Э. Баумана и ИПУ РАН) – неформальная информационная экономика будущего [84]. 
	Термин «неформальная» подчеркивает независимость экономических агентов, отсутствие формальной иерархической схемы, преобладание синергетической самоорганизации и роевых структур. Термин «информационная» отражает все возрастающую роль информационных технологий, в том числе сетевых, развитие которых позволяет предсказать революционный «переход количества в качество». Термин «экономика» означает, что изучается организационно-экономическая сторона деятельности общества. Термин «будущего» подчеркивает ориентацию исследований на прогнозирование и конструирование будущего развития хозяйственных систем. Основные предшественники – В.М. Глушков (ОГАС) и Ст. Бир (система Киберсин) . Современные информационные технологии и разработанные в XXI веке методы организационно-экономического моделирования и теории принятия решений позволяют адекватно реализовать их идеи. 
	О развитии и основных идеях неформальной информационной экономики будущего – базовой организационно-экономической теории технологического развития – подробнее говорится ниже.

3.3. Три основных направления развития промышленного менеджмента

	В работах факультета «Инженерный бизнес и менеджмент» МГТУ им. Н.Э. Баумана выделим три направления и кратко расскажем о них.
	3.3.1. Организация и управление жизненным циклом продукции.
	Современный период мирового производственного и экономического развития всей популяции хозяйствующих субъектов отличается значительным ужесточением конкурентной борьбы. Сложившиеся условия отрицательно сказываются на конкурентоспособности и устойчивости функционирования отечественных высокотехнологичных предприятий. Принципиальное значение приобретают в современных условиях не только вопросы освоения современных рыночно-ориентированных методов планирования (в том числе стратегического), управления, организации и контроля производственно-хозяйственной и экономической деятельности. Но и разработка новых логистикоориентированных концепций, подходов, методологий к стратегическому анализу и управлению организационно-экономической устойчивостью предприятий и их объединений (а точнее - интегрированных производственно-корпоративных структур) в условиях риска и неопределенности.
	В России начала XXI века высокотехнологичный комплекс, в котором сосредоточены почти все наукоемкие производства, находится в более тяжелом положении, чем иная промышленность. С одной стороны, предприятия этого комплекса должны быть готовы выполнить государственный заказ, держать для этого мощности и ресурсы в «горячем резерве». С другой стороны, реальные объемы государственного заказа резко сократились, финансирование поступает нерегулярно. Поэтому предприятия высокотехнологичного комплекса вынуждены работать на рынок. Но не могут это делать на равных с гражданской промышленностью, поскольку отягощены необходимостью быть готовыми к выполнению госзаказа. В терминах теории оптимизации: для предприятий высокотехнологичного комплекса к критерию максимизации прибыли добавляется ограничение по поддержанию «горячего резерва» для выполнения госзаказа. Поэтому для руководителей предприятий этого комплекса важна не столько сиюминутная прибыль, сколько обеспечение организационно-экономической устойчивости своих предприятий в условиях неопределенности и риска, порожденных меняющейся внешней средой. Один из оправдавших себя вариантов решения этой проблемы – создание интегрированных производственно-корпоративных структур.
	Современное неудовлетворительное состояние наукоемких промышленных предприятий высокотехнологичного комплекса России требует развития новых нетривиальных подходов к организации производства и всей их хозяйственной деятельности. Резкое снижение государственного заказа сочетается с постоянным усилением конкурентной борьбы с западными производителями специальной техники. 
	Для обеспечения соответствия отечественного высокотехнологичного комплекса современному уровню рыночных отношений требуется коренная реструктуризация, переориентация и наладка производственно-хозяйственного механизма и системы управления предприятиями на стратегическом уровне. Повышение степени риска заставляет принимать стратегические решения вне циклов планирования. Несомненны актуальность и практическая значимость развития новых методологий, концепций, теоретических основ и организационно-экономических методов стратегического управления деятельностью наукоемких предприятий высокотехнологичного комплекса в условиях быстро и непредсказуемо меняющейся инфраструктуры. 
	Научные исследования в области экономики, организации и управления промышленным производством ведутся в МГТУ им. Н.Э.Баумана уже полтора века. Однако развитие научно-технического прогресса ставит перед инженерами и экономистами новые задачи. Не только промышленность должна быть инновационной, но и образование. Как следствие, в 2005 г. введена новая учебная специальность 220701 «Менеджмент высоких технологий», относящаяся к тогда же введенному направлению подготовки дипломированных специалистов 220700 «Организация и управление наукоемкими производствами». Для новой специальности понадобились новые учебники, основанные на последних научно-технических разработках, подкрепленных практическим опытом. Но сначала эти разработки должны быть проанализированы, сведены вместе и представлены в виде стройной теории, нацеленной на непосредственное применение при решении практических задач, стоящих перед современной промышленностью.
	Полученные результаты представлены в ряде научных монографий и учебников [13, 27, 100], отражающих подходы и результаты научной МГТУ им. Н.Э.Баумана по экономике и организации производства. Они посвящена проблемам организации, экономики, управления, проектирования, эффективности, устойчивости применительно к новой форме организации современного промышленного производства - интегрированным производственно-корпоративным структурам. Появление этой новой формы связано со столь сильным развитием горизонтальных и вертикальных связей между предприятиями, что при обсуждении вопросов организации производства, экономики и управления нельзя оставаться в рамках одного предприятия, необходимо рассматривать более сложные образования - интегрированные производственно-корпоративные структуры.  
	3.3.2. Контроллинг.
	В современных условиях эффективное функционирование инновационных предприятий и организаций возможно лишь при адекватном использовании различных форм и методов организационно-экономического обеспечения их деятельности. Все большее распространение приобретает концепция контроллинга. Согласно одному из определений контроллинг – это система информационно-аналитической поддержки процесса принятия решений при управлении организацией (предприятием, корпорацией).
	Работы по развитию и внедрению методов контроллинга в России координирует Объединение Контроллеров http://controlling.ru/ . В частности, с 2002 г. выходит ежеквартальный журнал «Контроллинг». В курс «Экономика предприятия» для студентов технических специальностей включен раздел по контроллингу, признанному необходимым не только для будущих экономистов и менеджеров, но и для инженеров различных специальностей.
Разработки отечественной научной школы в области контроллинга отражены в ряде монографий и учебников [28, 120, 121].
	Общеизвестна роль экономико-математических и, в частности, статистических методов в деле обеспечения эффективного функционирования предприятий и организаций. В России развитием высоких статистических технологий занимается Российская ассоциация статистических методов. Экономико-математические и эконометрические методы играют важную роль в контроллинге. В МГТУ им. Н.Э.Баумана действует научно-исследовательская Лаборатория экономико-математических методов в контроллинге http://www.ibm.bmstu.ru/nil/lab.html .
	3.3.3. Организационно-экономическое моделирование.
	Целью исследований в этой области является разработка концепции, методологии и теоретических основ создания, изучения и применения системы организационно-экономических методов, позволяющих повысить эффективность процессов управления промышленными предприятиями и их объединениями (корпорациями, холдингами, альянсами, интегрированными производственно-корпоративными структурами и т.п.).
	Для достижения этой цели необходимо было решить следующие задачи:
	3.3.3.1. Выработать концепцию и методологию разработки организационно-экономических методов и моделей процессов управления промышленными предприятиями. В частности, на основе классификации организационно-экономических методов и моделей управления производственными системами разработать систему инструментальных средств организационно-экономического моделирования, опирающуюся на современную методологию организационно-экономического моделирования.
	Другими словами, необходимо было развить методологию разработки организационно-экономических методов и моделей процессов управления промышленными предприятиями, а именно, проанализировать теоретические инструменты организационно-экономического моделирования, дать классификации организационно-экономических методов и моделей, разработать методологию организационно-экономического моделирования и теоретические основы системы инструментальных средств, включающих вероятностно-статистические модели и методы анализа данных, экспертные технологии разработки управленческих решений, нечеткие и интервальные модели, рассматриваемые с точки зрения их применения для повышения эффективности процессов управления промышленными предприятиями и их объединениями. В частности, следовало разработать концепцию нечисловых экономических величин и моделей, теорию построения рейтингов, вопросы использования индекса инфляции при анализе хозяйственной деятельности предприятия.
	3.3.3.2. Провести организационно-экономическое моделирование процессов стратегического управления промышленными предприятиями, в частности, разработать новые технологии социально-экономического прогнозирования и дать рекомендации по их реализации, проанализировать проблемы горизонта планирования, целеполагания и дать характеризацию моделей с дисконтированием, рассмотреть организационно-экономическое моделирование при проектировании интегрированных производственно-корпоративных структур.
	3.3.3.3. Дать системный анализ организационно-экономических моделей, предназначенных для использования в условиях неопределенности и риска, в частности, предложить классификации рисков, разработать методы системной оценки и анализа рисков, в том числе аддитивно-мультипликативную модель расчета рисков, проанализировать методологические проблемы построения моделей управления рисками.
	3.3.3.4. Разработать организационно-экономические методы и модели в функциональных областях деятельности промышленных предприятий и их объединений, в том числе при решении задач информационно-аналитической поддержки процессов принятия решений при управлении промышленными предприятиями, в инновационном, инвестиционном и экологическом менеджменте, при выявлении предпочтений потребителей промышленной продукции и при управления материальными ресурсами промышленного предприятия, развить новые статистические методы и модели управления качеством.
	Решению сформулированных задач посвящены научные монографии  и статьи, основанные на них учебники [68, 73, 74]. Исследования по организационно-экономическому моделированию координирует Лаборатория экономико-математических методов в контроллинге, входящая в состав научно-исследовательской части научно-учебного комплекса «Инженерный бизнес и менеджмент» МГТУ им. Н.Э. Баумана. 
	О других направлениях работ сотрудников научно-учебного комплекса «Инженерный бизнес и менеджмент» не имеем возможности рассказать здесь.

3.4. Организационно-экономическое обеспечение деятельности коллективов разработчиков новшеств

	Траектория инновационного проекта имеет три характерные точки: заявка со стороны разработчиков новшества, принятие решения о финансировании проекта, окончание внедрения проекта. Обсудим переход от заявки к решению о финансировании. Второй переход принципиальных сложностей не вызывает, поскольку методы управления проектами хорошо разработаны.
	Судя по опыту МГТУ им. Н.Э.Баумана, в области высоких технологий коллективы разработчиков обычно сосредотачиваются на научно-технических проблемах новшеств, составляя календарные планы перехода к промышленному производству. Сроки и стоимость такого перехода коллективы разработчиков, как правило, приводят в своих заявках.
	Однако маркетинговая составляющая заявки обычно проработана плохо. Не изучены предпочтения потребителей, сопоставление с разработками конкурентов является отрывочным, прогнозирование научно-технического прогресса и соответствующих изменений рынка не проводится. В результате отсутствуют как представление об объеме будущих продаж предлагаемого к реализации новшества, так и обоснование цены. Не анализируется структура потенциальных потребителей и функция спроса. 
	Объясняется недостаточная проработанность маркетинговой составляющей заявок очевидной некомпетентностью коллективов разработчиков конкретных новшеств в маркетинговых исследованиях. Такие исследования не относятся к их сфере деятельности и должны проводиться профессионалами-маркетологами, естественно, в сотрудничестве со специалистами в конкретной научно-технической области.
	Если маркетинговые исследования показывают целесообразность дальнейшей проработки заявки, то следующим этапом является подготовка бизнес-плана, в котором, в частности, должен быть оценены различные характеристики общего экономического эффекта от внедрения новшества, а также проанализированы другие виды эффектов - социальные, экологические, технологические... Практика показывает, что коллективы, занимающиеся научно-технической стороной заявки, не в состоянии самостоятельно разработать полноценный бизнес-план, поскольку такая деятельность не входит в круг их профессиональных занятий. Подготовкой бизнес-планов должны заниматься специалисты в области организационно-экономического обеспечения инновационной деятельности. 
	С бизнес-планом можно обращаться к инвесторам. Для этого естественно использовать современные информационные технологии, относящиеся к «электронной коммерции». В МГТУ им. Н.Э.Баумана разработана структурно-функциональная схема бизнес-процессов Интернет-аукциона высоких технологий.
	На всех этапах жизненного цикла инновационного проекта - формирование, маркетинговые исследования, оценка эффективности, принятие решения о реализации, внедрение, контроль после внедрения, оценка эффективности реализации проекта - используются разнообразные процедуры экспертного оценивания. Организовывать и проводить такие процедуры должны профессионалы в области теории и практики экспертных оценок.
	Итак, для успешного осуществления инновационной деятельности, кроме научно-технических коллективов, предлагающих заявки к рассмотрению, и инвесторов, обеспечивающих финансирование, необходима структура, занимающаяся организационно-экономическим обеспечением. А именно, маркетинговыми исследованиями, подготовкой бизнес-планов, проведением экспертиз, использованием информационных технологий. Подробнее см., например, [70, 75, 83].   
	Подчеркнем ведущую роль «электронных» экономических связей субъектов инновационной деятельности, необходимость развития информационной культуры и цифровой культуры, роль мощного центрального игрока, обеспечивающего использование систем электронной коммерции и средств организационно-технологического обеспечения.
	Работы по организационно-экономическому моделированию инновационных процессов наш научный коллектив ведет в тесном взаимодействии с другими идейно близкими коллективами, с академическими институтами (Институт проблем управления, Центральный экономико-математический институт, Институт системного анализа, Вычислительный центр РАН и др.), вузами (МАИ, МГТУ «СТАНКИН», МГУ им. М.В. Ломоносова, МГИУ и др.), организациями и предприятиями промышленности.

3.5. Разработка теоретических основ и методологии информационно-аналитической поддержки процессов принятия решений в системах управления цепями поставок

	Несколько слов о терминах и развитии науки. Любое широко используемое понятие – «контроллинг», «маркетинг» и т.п. – имеет сотни и тысячи определений. Поэтому поясним понимание используемых нами терминов.
	Организационно-экономическое моделирование (ОЭМ) – научная, практическая и учебная дисциплина, посвященная разработке, изучению и применению математических и статистических методов и моделей в экономике и управлении народным хозяйством, прежде всего промышленными предприятиями и их объединениями. Термин «экономико-математические методы и модели» (ЭММиМ) имеет близкое содержание. Отличаются эти термины акцентами. ОЭМ нацелено на решение задач организации (управления, менеджмента) и экономики с помощью моделирования. В ЭММиМ сильна математическая составляющая, не связанная непосредственно с проблемами реального мира. 
	Статистические методы в экономике – предмет эконометрики, базой которой является прикладная статистика. Развитие представлений в этой области и соответствующей терминологии рассмотрим подробнее.
	К 60-м годам ХХ в. в нашей стране сформировалась научно-практическая дисциплина, которую называем классической математической статистикой. Специалисты-статистики учились теории по книге Г. Крамера [31], написанной в военные годы и впервые изданной у нас в 1948 г. Из прикладных руководств назовем учебник [109] и таблицы с комментариями [12].
	Затем внимание многих специалистов сосредоточилось на изучении математических конструкций, используемых в статистике. Примером таких работ является монография [24]. В ней получены продвинутые математические результаты, но трудно выделить рекомендации для статистика, анализирующего конкретные данные.
	Как реакция на уход в математику выделилась новая научная дисциплина - прикладная статистика. В учебнике [73] в качестве рубежа, когда это стало очевидным, мы указали 1981 г. – дату выхода массовым тиражом (33 940 экз.) сборника [111], в названии которого использован термин «прикладная статистика». С этого времени линии развития математической статистики и прикладной статистики разошлись. Первая из этих дисциплин полностью ушла в математику, перестав интересоваться практическими делами. Вторая позиционировала себя в качестве науки об обработке данных – результатов наблюдений, измерений, испытаний, анализов, опытов. 
	Вполне естественно, что в прикладной статистике стали развиваться математические методы и модели. Необходимость их развития вытекает из потребностей конкретных прикладных исследований. Это математизированное ядро прикладной статистики хочется назвать теоретической статистикой. Тогда под собственно прикладной статистикой следует понимать обширную промежуточную область между теоретической статистикой и применением статистических методов в конкретных областях. В нее входят, в частности, вопросы формирования вероятностно-статистических моделей и выбора конкретных методов анализа данных (т.е. методология прикладной статистики и других статистических методов), проблемы разработки и применения информационных статистических технологий, организации сбора и анализа данных, т.е. разработки статистических технологий.
	Таким образом, общая схема современной статистической науки выглядит следующим образом (от абстрактного к конкретному): 
	1. Математическая статистика – часть математики, изучающая статистические структуры. Сама по себе не дает рецептов анализа статистических данных, однако разрабатывает методы, полезные для использования в теоретической статистике.
	2. Теоретическая статистика – наука, посвященная моделям и методам анализа конкретных статистических данных.
	3. Прикладная статистика (в узком смысле) посвящена статистическим технологиям сбора и обработки данных. Она включает в себя методологию статистических методов, вопросы организации выборочных исследований, разработки статистических технологий, создания и использования статистических программных продуктов.
	4. Применение статистических методов в конкретных областях (в экономике и менеджменте – эконометрика, в биологии – биометрика, в химии – хемометрия, в технических исследованиях – технометрика, в геологии, демографии, социологии, медицине, истории, и т.д.).
	Часто позиции 2 и 3 вместе называют прикладной статистикой. Иногда позицию 1 именуют теоретической статистикой. Эти терминологические расхождения связаны с тем, что описанное выше развитие рассматриваемой научно-прикладной области не сразу, не полностью и не всегда адекватно отражается в сознании специалистов. Так, до сих пор выпускают учебники, соответствующие уровню представлений середины ХХ века. 
	Примечание. Здесь мы уточнили схему внутреннего деления статистической теории, предложенную в [63]. Естественный смысл приобрели термины «теоретическая статистика» и «прикладная статистика» (в узком смысле). Однако необходимо иметь в виду, что в недавнем учебнике [73] прикладная статистика понимается в широком смысле, т.е. как объединение позиций 2 и 3. К сожалению, в настоящее время невозможно отождествить теоретическую статистику с математической, поскольку последняя (как часть математики - научной специальности «теория вероятностей и математическая статистика») заметно оторвалась от задач практики. 
	Отметим, что математическая статистика, как и теоретическая с прикладной, заметно отличается от ведомственной науки органов официальной государственной статистики. ЦСУ, Госкомстат, Росстат применяли и применяют лишь проверенные временем приемы позапрошлого (19-го) века. Возможно, следовало бы от этого ведомства полностью отмежеваться и сменить название дисциплины, например, на «Анализ данных». В настоящее время компромиссным самоназванием рассматриваемой научно-практической дисциплины является термин «статистические методы». 
	Во второй половине 80-х годов развернулось общественное движение, имеющее целью создание профессионального объединения статистиков. Аналогами являются британское Королевское статистическое общество (основано в 1834 г.) и Американская статистическая ассоциация (создана в 1839 г.). К сожалению, деятельность учрежденной в 1990 г. Всесоюзной статистической ассоциации (ВСА) [64] оказалась парализованной в результате развала СССР. Некоторую активность проявили Российская ассоциация статистических методов, Российская академия статистических методов, Белорусская статистическая ассоциация, созданные на базе ВСА.
	В ходе создания ВСА проанализировано состояние и перспективы развития теоретической и прикладной статистики. Создана новая парадигма организационно-экономического моделирования, эконометрики и статистики, основанная, в частности, на переходе от использования параметрических семейств распределений к непараметрической и нечисловой статистике. Выявлена необходимость создания нового поколения учебной литературы, которая должна сменить издания на основе идей середины ХХ в. 
	Реализация этой задачи − создание системы учебных дисциплин и учебников нового поколения, отражающих современную научную парадигму в рассматриваемой области – основное достижение научной школы МГТУ им. Н.Э. Баумана в области организационно-экономического моделирования, эконометрики и статистики.
	Организационно-экономическое моделирование как научно-практическая и учебная дисциплина. При стратегическом планировании на российских предприятиях должны использоваться современные методы организационно-экономического моделирования, основанные на интенсивном использовании математических и статистических методов. Рассмотрим основные подходы к преподаванию дисциплины «Организационно-экономическое моделирование» кафедрой «Экономика и организация производства» научно-учебного комплекса «Инженерный бизнес и менеджмент» (НУК ИБМ) МГТУ им. Н. Э. Баумана. 
	Развитие научно-технического прогресса предъявляет все большие требования к современным инженерам, управленцам и экономистам. В специалистах такого уровня особо остро нуждаются высокотехнологичные предприятия оборонно-промышленного комплекса. Для их подготовки в 2005 г. разработана новая специальность «Менеджмент высоких технологий» [27]. 
	Для повышения эффективности управления промышленными предприятиями и интегрированными производственно-корпоративными структурами необходимо применять современные организационно-экономические методы и модели. В соответствии с этим в программу обучения по специальности «Менеджмент высоких технологий» и была введена дисциплина ОЭМ. 
	Изучаемые методы признаны вооружить будущих специалистов, т.е. выпускников нашего Университета, современным статистическим и математическим инструментарием, необходимым для будущих специалистов, с целью повышения конкурентоспособности на рынке труда. 
	В данной дисциплине изучаются методы разработки и принятия управленческих решений. Большая часть курса посвящена выборочным исследованиям. Рассматриваются примеры применения случайных выборок при оценивании функции спроса и изучении предложения потребителей, а также в связи с контролем качества продукции и экологической обстановки. Обсуждается применение статистики нечисловых данных в теории и практике экспертных оценок.  Рассматриваются оптимальные методы в экономике и управлении на примере управления запасами. Для целей прогнозирования изучается линейный регрессионный анализ, который рассматривается в основном на примере восстановления линейной зависимости между двумя переменными. Ежегодно в качестве лабораторной работы студенты собирают информацию о ценах для последующего расчета индексов инфляции. Разработаны учебники и учебные пособия по организационно-экономическому моделированию (см. [68, 73, 74, 77, 85] и др.).
	В рамках НУКа ИБМ ведутся теоретические исследования и прикладные разработки в области организационно-экономического моделирования, прежде всего в Лаборатории экономико-математических методов в контроллинге. Основные места публикаций – журналы «Контроллинг» и «Заводская лаборатория». Рассмотрим примеры ведущихся исследований и некоторые полученные результаты. 
	Прогнозирование как одна из функций управления промышленными предприятиями. На современном этапе к системе управления промышленными предприятиями предъявляются всё новые требования. В частности, необходима разработка эффективных систем прогнозирования для нужд управления промышленными предприятиями.  
	Основные функции управления были сформулированы еще Анри Файолем: «Управлять –  значит прогнозировать и планировать, организовывать, руководить командой, координировать и контролировать» [116]. Результаты прогнозирования необходимы для планирования [49].
Прогнозирование, как функция управления промышленными предприятиями, в настоящее время недостаточно используется. Есть ряд нерешенных проблем. 
	1. Часто используются устаревшие методы, не соответствующие современным требованиям. 
	2. Прогнозируются лишь отдельные характеристики (показатели) промышленных предприятий. В то время как решение проблемы прогнозирования заключается в рассмотрении предприятия как единой системы [47]. 
	3. Предприятие в процессе своей производственно-хозяйственной деятельности сталкивается с проблемой учета инфляции. Существуют два способа учета инфляции − обратиться к внешним источникам или рассчитать самостоятельно [68]. Последнее предполагает разработку организационно-экономического моделирования инфляции. 
	Как правило, выделяют два вида прогнозирования – поисковое (эксплораторное, эксплоративное) и нормированное (нормативное). Основываясь на идеях метода ЖОК [68, гл.6; 74], вводим еще один − вариативный, отвечающий на вопрос: какие будут изменения при варьировании управляющими факторами. 
	В большинстве случаев распределение погрешностей измерений отличается от нормального [68, гл.4]. Следовательно, необходимо разрабатывать методы, не требующие знания закона распределения наблюдаемой случайной величины, т.е. непараметрические. В работах [48, 50] в рамках непараметрической вероятностно-статистической модели получено асимптотическое распределение точки пересечения, уровня качества и временного лага двух регрессионных линейных зависимостей. На основе метода линеаризации найдены асимптотические дисперсии и доверительные интервалы для рассматриваемых характеристик. 
	Внедрение методов прогнозирования целесообразно осуществлять в духе системы «Шесть сигм». Эта система может быть использована не только для повышения качества продукции и услуг. Она решает задачи совершенствования бизнеса, в том числе организации внедрения современных организационно-экономических методов и моделей [76, 122].  
	Проблемы устойчивости в моделях и методах разработки стратегии предприятия. Процессы стратегического планирования на промышленных предприятиях реализуются в реальных ситуациях с достаточно высоким уровнем неопределенности. Велика роль нечисловой информации как на «входе», так и на «выходе» процесса принятия управленческого решения. Неопределенность и нечисловая природа управленческой информации должны быть отражены при анализе устойчивости экономико-математических методов и моделей.
	Для обоснованного практического применения математические модели процессов управления промышленными предприятиями и основанных на них экономико-математических методов должна быть изучена их устойчивость по отношению к допустимым отклонениям исходных данных и предпосылок моделей. 
	Следовательно, необходима разработка и развитие теоретических основ и методологии обоснования, выбора и создания новых математических методов и моделей, направленных на рационализацию и оптимизацию управления экономической составляющей производственно-хозяйственной деятельности промышленных предприятий на основе изучения их устойчивости по отношению к допустимым отклонениям исходных данных и предпосылок моделей.
	Реализованную нами исследовательскую программу целесообразно разбить на шесть направлений, посвященных решению следующих задач:
	1. Развить методологию разработки математических методов и моделей процессов управления промышленными предприятиями, разработать общий подход к изучению устойчивости (общую схему устойчивости) таких моделей и методов и выделить частные постановки проблем устойчивости, в том числе устойчивость к изменению данных, их объемов и распределений, по отношению к временным характеристикам. Один из подходов к построению устойчивых методов и моделей - моделирование с помощью нечисловых объектов.
	2. Разработать непараметрические (устойчивые к изменению распределения) статистические методы для решения конкретных задач управления промышленными предприятиями – для оценки характеристик, прогнозирования, сегментации рынка и др.
	3. Установить связи между различными видами объектов нечисловой природы, построить вероятностные модели их порождения. На основе расстояний (показателей различия, мер близости) и задач оптимизации развить статистическую теорию в пространствах общей природы, Разработать методы моделирования конкретных нечисловых объектов.
	4. Разработать асимптотическую статистику интервальных данных на основе понятий нотны и рационального объема выборки, развить интервальные аналоги основных областей прикладной статистики.
	5. На основе концепции устойчивости по отношению к временным характеристикам (моменту начала реализации проекта, горизонту планирования) провести экономико-математическое моделирование ряда процессов стратегического управления промышленными предприятиями: обосновать применение асимптотически оптимальных планов, дать характеризацию моделей с дисконтированием.
	6. Разработать устойчивые экономико-математические методы и модели процессов управления экономикой в функциональных областях производственно-хозяйственной деятельности промышленных предприятий, в частности, при использовании экспертных методов, в инновационном и инвестиционном менеджменте, при управлении качеством промышленной продукции, при выявлении предпочтений потребителей, при управления материальными ресурсами предприятия.
	После кризиса - неформальная информационная экономика будущего. Мировой экономический кризис выявил необходимость разработки новых организационно-экономических механизмов стратегического планирования и развития предприятий. Организация производства должна быть основана на адекватной экономической теории. 
	Перспективные организационно-экономические механизмы управления производственно-хозяйственной деятельностью предлагаем конструировать на основе неформальной информационной экономики будущего, разрабатываемой как методологическая основа конкретных исследований в области организационно-экономического моделирования [78, 79, 80, 84]. Отметим некоторые ее черты.
	1. При принятии решений необходимо учитывать не только экономические, но и технологические, социальные, экологические, политические факторы. Экономика в целом – служанка общества, выполняет его требования. Цели общества первичны, экономические механизмы вторичны. 
	2. На основе современных информационных технологий и методов разработки и принятия управленческих решений [74] необходимо реализовать идеи В.М. Глушкова и Ст. Бира. В 60-х В.М. Глушков предложил создать Общегосударственную автоматизированную систему управления экономикой страны (ОГАС), а Ст. Бир разработал автоматизированную систему управления национализированными предприятиями Чили «Киберсин».
	3. Новым по сравнению с временами В.М. Глушкова и С. Бира является широкое распространение Интернет-технологий, позволяющее аппаратно реализовать право граждан на участие в принятии касающихся их решений. Открытый процесс создания реальных организационных модулей системы, привлечения участников, прокладывания горизонтальных связей, осуществления операций с ее помощью можно назвать Open P2P Society - «Открытое сетевое общество». Неформальность – важнейшая черта, обеспечивающая свободу передачи информации и участие всех заинтересованных лиц и организаций в выработке и реализации решений. Удастся реализовать основные идеи анархизма. 
	4. В перспективе путем предварительного обсуждения и планирования можно будет снять проблему нерационального производства товаров и услуг. Удастся снять противоречие между «планом» и «рынком», избавиться от недостатков, но сохранить достоинства каждого из этих подходов к организации хозяйственной жизни. 
	5. Экономическую теорию надо избавить от крена в сторону хрематистики. Экономика – это наука о том, как производить, а не о том, как делить прибыль. Основное ядро современной экономической теории – это экономика предприятия.
	Итак, организационно-экономическое моделирование (включая эконометрику, прикладную статистику, теорию принятия решений и другие экономико-математические методы и модели) разрабатывает интеллектуальные инструменты, позволяющие контроллеру успешно решать стоящие перед ним задачи модернизации систем управления предприятиями и организациями. В журнале «Контроллинг» опубликован ряд разработок Лаборатории экономико-математических методов в контроллинге, из которых отметим первую [66] и последние [82, 90] по времени.

4. Разработка теоретических основ и  методологии неформальной информационной экономики будущего

	Мировой экономический кризис выявил необходимость разработки новых организационно-экономических механизмов функционирования народного хозяйства, в частности, стратегического планирования и развития предприятий. Организация производства в масштабах страны должна быть основана на адекватной экономической теории. 
	Кризис демонстрирует необходимость переосмысления как экономической политики нашей страны, так и основ преподавания экономической теории. Например, всеми экономически развитыми странами отброшено требование невмешательства государства в экономику. Идет реальная национализация. Миф о безграничности потребностей человека несовместим с требованиями экологии. Вызывает сомнения экономическая необходимость анархии товаропроизводителей (т.е. «рынка») и конкуренции. И т.п.
	Неформальная информационная экономика будущего (НИЭБ) развивается в Инновационном научно-образовательном центре Института проблем управления РАН и МГТУ им. Н.Э. Баумана [78, 79, 80, 81, 84, 86] и Международной академии исследований будущего (http://www.maib.ru/) как методологическая основа конкретных исследований в области организационно-экономического моделирования [27, 68, 73, 74, 85, 100]. Одна из ее целей - выявить основные черты экономики будущего на период стратегического планирования (на 20-30 лет) государства и крупных корпораций. 
	Перспективные организационно-экономические механизмы управления производственно-хозяйственной деятельностью предлагаем конструировать на основе неформальной информационной экономики будущего (НИЭБ), В разделе рассмотрены основные идеи этой новой организационно-экономической теории применительно к проблемам управлением развитием народного хозяйства и прежде всего промышленности в условиях современного экономического кризиса.

4.1. О развитии НИЭБ

	Первая формулировка НИЭБ была выставлена в Интернете еще до первых толчков мирового экономического кризиса, 11 июня 2007 г. (http://forum.orlovs.pp.ru/viewtopic.php?t=570). За два года эта тема собрала около 20000 просмотров. НИЭБ обсуждалась на шести международных и всероссийских научных конференциях [78, 79, 80, 81, 84, 86], иных семинарах и советах, представлена в Интернете на сайтах университетов и других ресурсах (http://www.ibm.bmstu.ru/nil/biblio.html#stats-10-nefor, http://www.econ.asu.ru/lib/sborn/iimer2007/sod.html).
	Актуальность НИЭБ повышается по мере развертывания мирового экономического кризиса. Многие авторы предполагают, что после кризиса организация экономической жизни принципиально изменится. НИЭБ нацелена на научно обоснованное конструирование будущего. Видимо, этим и интересна научному сообществу.
	Внутри самой НИЭБ происходит некоторое смещение акцентов. На настоящий момент основная идея такова. Предлагается строить хозяйственную жизнь в соответствии с разработками таких наук, как «организация производства», «экономика предприятия», «менеджмент» (включая его современные разделы, такие, как теория активных систем, организационно-экономическое моделирование, контроллинг, теорию управления жизненным циклом продукции и др.). Это означает критическое отношение к зараженной хрематистикой (термин Аристотеля) идеологизированной концепции «экономикс». В частности, должна быть пересмотрена система преподавания экономической теории, предприняты меры по искоренению экономических догм массового сознания. Пример такой догмы – утверждение о нецелесообразности активного вмешательства государства в экономическую жизнь.

4.2. Некоторые принципиальные положения НИЭБ

	4.2.1. При принятии решений необходимо учитывать не только экономические, но и технологические, социальные, экологические, политические факторы. Экономика в целом – служанка общества, выполняет его требования. Цели общества первичны, экономические механизмы вторичны. 
	4.2.2. На основе современных информационных технологий и методов разработки и принятия управленческих решений [84] необходимо реализовать идеи В.М. Глушкова и Ст. Бира. В 60-х В.М. Глушков предложил создать Общегосударственную автоматизированную систему управления экономикой страны (ОГАС), а Ст. Бир разработал автоматизированную систему управления национализированными предприятиями Чили «Киберсин».
	4.2.3. Новым по сравнению с временами В.М. Глушкова и С. Бира является широкое распространение Интернет-технологий, позволяющее аппаратно реализовать право граждан на участие в принятии касающихся их решений. Открытый процесс создания реальных организационных модулей системы, привлечения участников, прокладывания горизонтальных связей, осуществления операций с ее помощью можно назвать Open P2P Society - «Открытое сетевое общество». Неформальность – важнейшая черта, обеспечивающая свободу передачи информации и участие всех заинтересованных лиц и организаций в выработке и реализации решений. Удастся реализовать основные идеи анархизма. 
	4.2.4. В перспективе путем предварительного обсуждения и планирования можно будет снять проблему нерационального производства товаров и услуг. Удастся снять противоречие между «планом» и «рынком», избавиться от недостатков, но сохранить достоинства каждого из этих подходов к организации хозяйственной жизни. 
	4.2.5. Экономическую теорию надо избавить от крена в сторону хрематистики. Экономика – это наука о том, как производить, а не о том, как делить прибыль. Основное ядро современной экономической теории – это экономика предприятия (инженерная экономика). 

4.3. НИЭБ и управление экономическими процессами

	Современные технологии позволяют разработать и внедрить интегрированные информационно-управляющие системы, которые предназначены для решения задач, связанных с координацией людей, ресурсов, потребностей, предложений; которые позволяют объединять людей в рабочие группы по реализации экономических проектов, прокладывать прямые связи между производителями и потребителями; оптимально координировать инициативы и проекты в масштабе всего общества. К конкретным функциям в рамках экономического блока можно отнести: учет и распределение ресурсов, обмен экономическим опытом и технологиями, регистрация потребностей населения в товарах и услугах, формирование коллективов новых хозяйствующих субъектов, аккумулирование и распределение инвестиций, координация действий трудовых коллективов, публичная оценка потребителями работы хозяйствующих субъектов, ведение публичного диалога между потребителями и производителями товаров и услуг, публикация жалоб добросовестных хозяйствующих субъектов на деструктивные действия официальных и неофициальных структур, выработка схем оптимального ресурсообмена и планов экономического развития. Возрастает роль неформальной, «роевой» деятельности, как противовеса иерархическим структурам. Идеи анархизма Кропоткина и Маркса в организации народного хозяйства и общественной жизни получают техническую базу для своей реализации. 
	Неформальная информационная экономика будущего (НИЭБ-теория) находится на стыке теории управления, экономики и прогностики. Связи между предприятиями и организациями (B2B), а также во многом между предприятиями и потребителями - физическими лицами (B2C) будут осуществляться через сетевые информационные структуры, представляющими собой дальнейшее развитие современного Интернета и корпоративных сетей. Третья составляющая (наряду с производством и потребителями) – органы государственного и муниципального управления. Путем предварительного обсуждения и планирования можно будет снять проблему нерационального производства товаров и услуг. Конкурировать будут не товары и услуги, а их идеи (проекты). 
	Математическая основа неформальной информационной экономики будущего - теория управления организационными системами, прежде всего теория активных систем и теория принятия решений, в том числе на основе интенсивного использования экспертных технологий [74] и нечисловой статистики [85].

4.4. Проект «Сеть экспертов»

	Кратко рассмотрим шестишаговую схему применения НИЭБ-теории для повышения эффективности процессов управления в крупной корпорации(как примере крупномасштабной системы), организации (предприятия) которой находятся в различных регионах. 
	4.4.1. Первый шаг - выделение ЗАДАЧ, для решения которых привлекаются и/или будут привлекаться эксперты. 
	4.4.2. После составления и гармонизации СИСТЕМЫ ЗАДАЧ (в управленческих терминах) составляем систему МОДЕЛЕЙ ЭКСПЕРТИЗ (описываем систему «черных ящиков», т.е. систему «входов» - «выходов») в терминах организационно-экономического моделирования экспертной деятельности.
	4.4.3. На основе МОДЕЛЕЙ разрабатываем (адаптируем или вновь предлагаем) МЕТОДЫ экспертных исследований (т.е. сбора и анализа экспертных оценок, на пути от «входа» к «выходу»).
	4.4.4. На основе МЕТОДОВ выявляем ТРЕБОВАНИЯ к экспертам (включая внешних), а также к регламентам экспертных процедур (т.е. «условия применимости» экспертных методов), включая регламенты формирования сети (реестра) экспертов, формирования экспертной комиссии (ЭК), заданий экспертам, процедурам сбора и анализа мнений экспертов, выработки заключений ЭК.
	4.4.5. Формируем основы НТД (нормативно-технических документов) по созданию и деятельности СИСТЕМЫ ЭКСПЕРТИЗ Компании.
	4.6. Разрабатываем пошаговую процедуру и график внедрения проекта по созданию СИСТЕМЫ ЭКСПЕРТИЗ Компании.
	Новизна научных основ проекта «Сеть экспертов» состоит, в частности, в том, что вместо отдельных экспертных комиссий, предназначенных для проведения конкретных экспертиз, строим СЕТЬ ЭКСПЕРТОВ, работающую постоянно и являющуюся составной частью системы управления корпорации. Сеть экспертов действует в постоянном контакте (и в переплетении) с системой принятия управленческих решений. Сетевая корпоративная экспертная структура является открытой – любой сотрудник через корпоративную информационную систему может включиться в эту структуру (как эксперт с совещательным голосом). 
	Таким путем в рамках отдельно взятой конкретной корпорации реализуются основные идеи неформальной информационной экономики будущего и открытого сетевого общества.
	Эффективность применения подходов неформальной информационной экономики будущего в государственном и муниципальном управлении, международной деятельности, планировании и контроле в масштабах Земного шара не вызывает сомнений. 

4.5. Троянские обучающие технологии в экономике и менеджменте

	Троянские обучающие технологии имеют целью заставить обучающегося действовать в чуждых интересах. С начала 90-х годов в отечественную систему образования в области экономики и менеджмента внедрен ряд догм, наносящих вред развитию нашей страны. Как первый шаг к исправлению отклонений в разделе выделен ряд подобных экономических догм массового сознания. 
	Неформальная информационная экономика будущего (НИЭБ) развивается в Инновационном научно-образовательном центре Института проблем управления РАН и МГТУ им. Н.Э. Баумана как методологическая основа конкретных исследований в области организационно-экономического моделирования [84]. Одно из направлений НИЭБ – выявление, анализ и снятие накопившихся заблуждений в области экономики и менеджмента. Часть из них представляет собой реликты прошедших времен или возведенных в абсолют частных случаев, другие же сознательно внедрены в наше массовое сознание конкурентами России с помощью «троянских технологий обучения», изученных А.Н. Поддьяковым [95, 96]. Цель раздела - привести примеры таких утверждений.  
	4.5.1. Эффективность предприятий разных типов.
	 Согласно распространенной догме государство должно сокращать свое участие в экономике. Однако хорошо известно, что для каждой из одиннадцати промышленно развитых стран доля государственных расходов в ВВП (т.е. доля расходной части бюджета в ВВП) в ХХ в. непрерывно росла (в среднем с 11,5% в 1913 г. до 29,1% в 1960 г. и 45% в 1998 г.). В РФ она к настоящему времени упала значительно ниже. Следовательно, чтобы влиться на равных в мировое сообщество, необходимо увеличить роль государства в экономике в 2 - 3 раза [74]. 
	Какие предприятия работают более эффективно – государственные или частные? На основе словесного обсуждения нельзя сделать однозначного вывода. Статистические данные Европейского Союза показывают, что производительность труда (объем созданной добавленной стоимости на одного работающего) в госсекторе выше, чем на частных предприятиях [1]. Это утверждение справедливо для Европейского Союза в целом и для всех его стран по отдельности, кроме одной – Бельгии. 
	В теории экономики и организации производства давно установлено и считается ныне очевидным, что крупные предприятия является экономически более эффективными, чем малые. Однако конкурентам нашей страны удалось внедрить в массовое сознание мысль о пользе всеохватной конкуренции и малых предприятий. Перечень экономических догм, успешно внедренных в массовое сознание, можно продолжать. 
	4.5.2. Догмы в системах обучения.
	Особенно вредны догмы, закрепившиеся в системах обучения. Рассмотрим примеры.
	Концепция монетаризма в мировой экономической науке является маргинальной, а в нашей стране стала господствующей. Монетаризм овладел массами преподавателей, выпущено огромное количество учебной литературы, содержащей большое число ошибок. Например, специалистам давно известно, что т.н. «кривые Филлипса» - результат сознательной фальсификации . Тем не менее они кочуют из учебника в учебник.
	 Ложным является представление о высокой доле полностью рациональных экономических субъектов, действующих независимо от других подобных субъектов. Отсутствие максимизации полезности – характерная черта поведения большинства потребителей и юридических лиц. Именно поэтому эффективна реклама и другие инструменты маркетинга. 
	Распад логического мышления демонстрируют рассуждения о максимуме прибыли при минимуме затрат (непонимание основ многокритериальной оптимизации), о необходимости минимизации запасов (вместо оптимизации). Или попытки выводить рост цен из роста денежной массы.
	В МГТУ им. Н.Э. Баумана (в то время – Императорском Московском Техническом Училище) был разработан способ обучения рациональным трудовым движениям, т.н. «русский метод обучения ремеслам». Метод стал широко известен во всем мире после демонстраций на Всемирных выставках в Вене (1873), где он был отмечен Большой золотой медалью, Филадельфии (1876), Париже (1878).. Президент Массачусетского технологического института Дж. Рункль писал директору ИМТУ В.К. Делла-Восу: «За Россией признан полный успех в решении столь важной задачи технического образования… В Америке после этого никакая иная система не будет употребляться» [51]. Хотя основные идеи «научной школы менеджмента» разработаны в Москве, в литературе по менеджменту, внедренной в РФ конкурентами нашей страны, эта школа связывается исключительно с именами Ф.У. Тейлора, Г. Форда и др.
	Особенно нетерпимое положение сложилось в эконометрике. В 90-е годы конкурентам нашей страны с помощью специально организованной пропагандистской компании, в частности, проведенной на западные гранты серии летних школ для преподавателей, удалось внедрить крайне узкий взгляд на эконометрику. В настоящее время в РФ распространены учебные сочинения по эконометрике, сводящие эту дисциплину к различным вариантам метода наименьших квадратов. На основе их анализа В.Н. Тутубалин заключает: «Эконометрика как наука в целом должна быть охарактеризована как крупная научная неудача... В борьбе с непреодолимыми трудностями это научное направление превратилось в схоластику» [114]. Этот вывод связан только с той извращенной формой эконометрики, которая внедрена в РФ с помощью троянских технологий. В МГТУ им. Н.Э. Баумана разработано адекватное современным потребностям практики содержание учебной дисциплины «Эконометрика» [68]. 

Заключение

	В отчете приведены основные результаты теоретических исследований в области разработки теоретических основ и методологии моделирования систем управления промышленными предприятиями и их объединениями, прежде всего такой базовой их составляющей, как логистических систем управления цепями поставок, с использованием принципов экономической кибернетики и современных экономико-математических методов и моделей. Работа нацелена на создание новых организационно-экономических (прежде всего экономико-математических, в том числе эконометрических) методов и моделей, предназначенных для использования различными функциональными службами и подразделениями промышленных предприятий. Научно-исследовательская работа выполнена в 2009 г. сотрудниками научно-учебного комплекса НУК «Инженерный бизнес и менеджмент» Московского государственного технического университета им. Н.Э.Баумана. 
	Разработаны теоретические основы и методология устойчивых экономико-математических методов и моделей, предназначенных для применения при модернизации управления предприятиями. Моделирование экспертных технологий проведено на основе статистики нечисловых данных, дан анализ технологий и инструментов (моделей, методов, способов, процедур, программных продуктов), используемых в прогнозировании. Проработаны вопросы организационно-экономического обеспечения моделирования инновационной деятельности в системах управления цепями поставок, включая разработку теоретических основ и методологии информационно-аналитической поддержки процессов принятия решений в таких системах. Получено дальнейшее развитие неформальной информационной экономики будущего (НИЭБ): выделены основные принципиальные положения НИЭБ, установлено ее значение для управления экономическими процессами, разработана принципиальная схема проекта «Сеть экспертов», проанализированы троянские обучающие технологии в экономике и менеджменте, в частности, в области преподавания эконометрики. 
	Получены фундаментальные результаты, разработаны теоретические основы новых организационно-экономические методов и моделей, предназначенных для повышения эффективности процессов управления промышленными предприятиями и их объединениями. Предполагаемое использование результатов НИР - на промышленных предприятиях в деятельности различных функциональных служб и подразделений, в вузах  и научно-исследовательских и опытно-конструкторских организациях. Кроме того, результаты НИР предполагается использовать при подготовке учебников, учебных пособий и иных учебно-методических материалов, при чтении лекций и проведении практических занятий в соответствии с государственным образовательным стандартом и учебным планом по специальности «Менеджмент высоких технологий», а также по другим специальностям в рамках образовательных структур НУК ИБМ, включая второе образование и Бизнес-школу МГТУ им. Н.Э. Баумана. В частности, результаты НИР будут использованы при разработке курсов «Организационно-экономическое моделирование» и «Эконометрика», разделов курсов специализации.
	Поставленная во введении цель работы достигнута, сформулированные задачи решены. 
	Научно-прикладные исследования по тематике отчета целесообразно продолжать и развивать, а также расширять преподавание соответствующих курсов, в том числе при обучении студентов инженерных специальностей на различных факультетах МГТУ им. Н.Э.Баумана. 

Список использованных источников

1. Абрамов Ю.А. В поисках баланса интересов и ресурсов / Космос в фокусе политики, экономики, культуры. - М.: Новости космонавтики, 2002. - С.92-101.
2. Айзерман М.А., Алескеров Ф.Т. Выбор вариантов (основы теории). – М.: Наука, 1990.- 326 с.
3. Алешин Д.Н. Экономическое обоснование эффективности инвестиционных проектов на предприятиях на основе применения эконометрического метода интервальной оценки: Автореф. дисс. … канд. эконом. наук. – М.:МГТУ им. Н.Э.Баумана, 2001. – 16 с.
4. Анализ нечисловой информации (обзор) / Ю.Н. Тюрин и др. / Заводская лаборатория. 1980. Т.46. №10. С.931-935. – Переиздание – в сб.: Современные проблемы кибернетики: прикладная статистика. – М.: Знание, 1981, с.41-52.
5. Анализ нечисловой информации / Ю.Н. Тюрин и др. - М.: Научный Совет АН СССР по комплексной проблеме «Кибернетика», 1981. – 80 с.
6. Анализ нечисловой информации в социологических исследованиях / Под ред. В.Г. Андреенкова, А.И. Орлова, Ю.Н. Толстовой. - М.: Наука, 1985. - 221 с.
7. Анализ нечисловых данных в системных исследованиях / Сборник трудов. - Вып.10. - М.: ВНИИСИ, 1982. - 155 с.
8. Анохин А.М., Гусев В.Б., Павельев В.В. Комплексное оценивание и оптимизация на моделях многомерных объектов. – М.: ИПУ РАН, 2003. – 79 с.
9. Арнольд В.И. «Жесткие» и «мягкие» математические модели. – М.: МЦНМО, 2008. – 32 с.
10. Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки. - М.: Наука, 1973. - 79 с.
11. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. Изд. 2, перераб. и доп. – М.: Статистика, 1980. - 264 с.
12. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики / 3-е изд.- М.: Наука, 1983. - 416 с. (1-е изд. – 1965).
13. Бром А.Е., Колобов А.А., Омельченко И.Н. Методология, методы и модели организационно-логистической системы управления жизненным циклом наукоемкой продукции. – М.: Изд-во МГТУ им. Н.Э. Баумана, 2008. – 280 с.
14. Бурков В.Н. Большие системы: моделирование организационных механизмов. - М.: Наука, 1989. - 354 с.
15. Бурков В.Н., Новиков Д.А. Теория активных систем: состояние и перспективы. – М.: Синтег, 1999. – 128 с.
16. Вольский В.И., Лезина З.М. Голосование в малых группах. Процедуры и методы сравнительного анализа. - М.: Наука, 1991. - 192 с.
17. Вторая Всесоюзная конференция по анализу нечисловой информации/ Тезисы докладов. - М.- Таллин: ВИНИТИ, 1984. - 348 с.
18. Гафт М.Г. Принятие решений при многих критериях. - М.: Знание, 1979. – 64 с.
19. Гнеденко Б.В., Колмогоров А.Н. Предельные распределения для сумм независимых случайных величин. – М.-Л.: ГИТТЛ, 1949. – 264 с.
20. Горский В.Г., Гриценко А.А., Орлов А.И. Метод согласования кластеризованных ранжировок // Автоматика и телемеханика. - 2000. - №3. - С.179 - 187.
21. Гуськова Е.А. Разработка организационно-экономических методов повышения эффективности деятельности промышленного предприятия на основе эконометрического подхода: Автореф. дисс. … канд. эконом. наук. – М.: МГТУ им. Н.Э. Баумана, 2004. – 16 с.
22. Дорофеюк А.А. Методы автоматической классификации в задачах получения экспертной информации / Статистика. Вероятность. Экономика. - М.: Наука, 1985. - С. 137 - 145.
23. Дорофеюк А.А., Покровская И.В., Чернявский А.Л. Экспертные методы анализа и совершенствования систем управления // Автоматика и телемеханика. - 2004. - № 10. - С.172-188.
24. Каган А.М., Линник Ю.В., Рао С.Р. Характеризационные задачи математической статистики. - М.: Наука, 1972. - 656 с.
25. Кемени Дж., Снелл Дж. Кибернетическое моделирование: Некоторые приложения. - М.: Советское радио, 1972. - 192 с. 
26. Китаев Н.Н. Групповые экспертные оценки. - М.: Знание, 1975. - 64 с.
27. Колобов А.А., Омельченко И.Н., Орлов А.И. Менеджмент высоких технологий. Интегрированные производственно-корпоративные структуры: организация, экономика, управление, проектирование, эффективность, устойчивость. – М.: Экзамен, 2008. – 621 с.
28. Контроллинг / А.М. Карминский, С.Г. Фалько, А.А. Жевага, Н.Ю. Иванова / Под ред. А.М. Карминского, С.Г. Фалько. – М.: Финансы и статистика, 2006. – 336 с.
29. Контроллинг в бизнесе. Методологические и практические основы построения контроллинга в организациях / А.М. Карминский, Н.И. Оленев, А.Г. Примак, С.Г. Фалько. - М.: Финансы и статистика, 1998. - 256 с.
30. Кочетов В.В., Колобов А.А., Омельченко И.Н. Инженерная экономика / Под ред. А.А. Колобова, А.И. Орлова. - М.: Изд-во МГТУ им. Н.Э.Баумана, 2005. - 668 с.
31. Крамер Г. Математические методы статистики. - М.: Мир, 1975. - 648 с.
32. Ларичев О.И. Объективные модели и субъективные решения. - М.: Наука, 1987. - 143 с.
33. Ларичев О.И. Выявление экспертных знаний. - М.: Наука, 1989. – 128 с.
34. Ларичев О.И., Мошкович Е.М. Качественные методы принятия решений. Вербальный анализ решений. - М.: Наука, 1996.- 208 с.
35. Литвак Б.Г. Экспертная информация: методы получения и анализа. - М.: Радио и связь, 1982. – 184 с.
36. Литвак Б.Г. Экспертные оценки и принятие решений. - М.: Патент, 1996. - 272 с.
37. Литвак Б.Г. Экспертиза в России // Заводская лаборатория. - 2000. - Т.66. - № 7. - С. 61-66.
38. Литвак Б.Г. Экспертные технологии управления. 2-е изд. - М.: Дело, 2004.- 398 с.
39. Методы анализа данных, оценивания и выбора / Сборник трудов. - Вып.11. - М.: ВНИИСИ, 1984. - 92 с.
40. Методы анализа данных, оценивания и выбора в системных исследованиях / Сборник трудов. - Вып.14. - М.: ВНИИСИ, 1986. - 124 с.
41. Моисеев Н.Н. Математик задает вопросы… (Приглашение к диалогу). – М.: Знание, 1975. – 192 с.
42. Моисеев Н.Н. Математика ставит эксперимент. – М.: Наука, 1979. – 224 с.
43. Моисеев Н.Н. Неформальные процедуры и автоматизация проектирования. - М.: Знание, 1979. - 64 с.
44. Моисеев Н.Н. Математические задачи системного анализа. - М.: Наука, 1981. - 487 с.
45. Молодцов Д.А. Устойчивость принципов оптимальности. – М.: Наука, 1987. -  280 с.
46. Молодцов Д.А. Теория мягких множеств. - М.: УРСС, 2004. - 360 с. 
47. Муравьева В.С. Организационно-экономические методы прогнозирования на промышленных предприятиях / Седьмой всероссийский симпозиум «Стратегическое планирование и развитие предприятий». Тезисы докладов и сообщений. Секция 2. Модели и методы разработки стратегии предприятия. - М.: ЦЭМИ РАН, 2006. - C. 174-176.
48. Муравьева В.С. Точка встречи: асимптотическое распределение уровня качества и временного лага // Заводская лаборатория. - 2008. - Т.74. - №3. -С.70-73.
49. Муравьева В.С., Орлов А.И. Организационно-экономические проблемы прогнозирования на промышленном предприятии / Управление большими системами. Вып. 17. - М.: ИПУ РАН, 2007. - С.143 - 158.
50. Муравьева В.С., Орлов А.И. Непараметрическое оценивание точки пересечения регрессионных прямых // Заводская лаборатория. - 2008. - Т.74. №1. - С.63-68.
51. Научные школы Московского государственного технического университета имени Н.Э. Баумана. История развития / Под ред. И.Б. Федорова, К.С. Колесникова. – 2-е изд., доп. – М.: Изд-во МГТУ им. Н.Э. Баумана, 2005. – 464 с. 
52. Новиков А.М., Новиков Д.А. Методология. – М.: СИНТЕГ, 2007. – 668 с.
53. Новиков Д.А. Теория управления организационными системами. - М.: МПСИ, 2005. – 584 с.
54. Новиков Д.А. Современные проблемы теории управления организационными системами // Человеческий фактор в управлении / Под ред. Н.А. Абрамовой, К.С. Гинсберга, Д.А. Новикова. – М.: КомКнига, 2006. – С.391 – 407.
55. Новицкий П.В., Зограф И.А. Оценка погрешностей результатов измерений. - Л.: Энергоатомиздат, 1985. - 248 с.
56. Ногин В.Д. Принятие решений в многокритериальной среде: количественный подход. - М.: Физматлит, 2002. – 176 с.
57. Носовский Г.В., Фоменко А.Т. Царь славян. – М.: АСТ-АСТРЕЛЬ, 2007. – 716 с. 
58. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с. 
59. Орлов А.И. Статистика объектов нечисловой природы и экспертные оценки. / Экспертные оценки / Вопросы кибернетики. Вып.58. - М.: Научный Совет АН СССР по комплексной проблеме «Кибернетика», 1979. - С.17-33.
60. Орлов А.И. Поправка на группировку для коэффициента корреляции // Экономика и математические методы. - 1980. - Т.XVI. - №4. - С.800 - 801.
61. Орлов А.И. Задачи оптимизации и нечеткие переменные. - М.: Знание, 1980. – 64 с.
62. Орлов А.И. Связь между средними величинами и допустимыми преобразованиями шкалы // Математические заметки. - 1981. - Т. 30. - №4. - С.561-568.
63. Орлов А.И. О перестройке статистической науки и её применений // Вестник статистики. - 1990. - №1. - С.65 – 71.
64. Орлов А.И. Создана единая статистическая ассоциация // Вестник Академии наук СССР. - 1991. - №7. - С.152-153. 
65. Орлов А.И. Экспертные оценки // Заводская лаборатория. - 1996. - Т.62. - №1. - С.54-60.
66. Орлов А.И. Эконометрическая поддержка контроллинга // Контроллинг. - 2002. - №1. - С.42 - 53.
67. Орлов А.И. Высокие статистические технологии // Заводская лаборатория. Диагностика материалов. - 2003. - Т.69. - №11. - С.55-60. 
68. Орлов А.И. Эконометрика. Изд. 3-е, перераб. и дополн. - М.: Экзамен, 2004. – 576 с.
69. Орлов А.И. Статистические методы в российской социологии (тридцать лет спустя) // Социология: методология, методы, математические модели. -2005. - №20. - С.32-53.
70. Орлов А.И. Организационно-экономическое обеспечение инновационной деятельности. – В сб.: Инновационное развитие экономики: теория и практика: Материалы международной научно-практической конференции. - Ярославль: ЯрГУ, 2005. - С.181-184.
71. Орлов А.И. Принятие решений. Теория и методы разработки управленческих решений. - М.-Ростов н/Д: МарТ; 2005. - 496 с.
72. Орлов А.И. Математические методы исследования и теория измерений // Заводская лаборатория. Диагностика материалов. - 2006. - Т.72. - № 1. - С.67-70.
73. Орлов А.И. Прикладная статистика. - М.: Экзамен, 2006. - 671 с.
74. Орлов А.И. Теория принятия решений. – М.: Экзамен, 2006. – 573 с.
75. Орлов А.И. Организационно-экономическое моделирование инновационных процессов. - Управление инновациями - 2006. Материалы международной научно-практической конференции. - М.: Доброе слово, 2006. - С.41-44.
76. Орлов А.И. «Шесть сигм» - новая система внедрения математических методов исследования // Заводская лаборатория. Диагностика материалов. - 2006. - Т.72. - №5. - С.50-53.
77. Орлов А.И. Оптимальные методы в экономике и управлении. − М.: Изд-во МГТУ им. Н.Э. Баумана, 2007. − 44 с.
78. Орлов А.И. Неформальная информационная экономика будущего. – В сб.: Неформальные институты в современной экономике России: Материалы Третьих Друкеровских чтений. - М.: Доброе слово: ИПУ РАН, 2007. – С.72-87.
79. Орлов А.И. Неформальная информационная экономика будущего – новая организационно-экономическая теория. - Стратегическое планирование и развитие предприятий. Секция 4 / Материалы Девятого всероссийского симпозиума.– М.: ЦЭМИ РАН, 2008. – С.123-124.
80. Орлов А.И. Экономико-математические методы в контроллинге и неформальная информационная экономика будущего. – Формування ринковоi економiки: Зб. наук. праць. Спец. вип., присвяч. Мiжнар. наук.-практ. конф. «Контролiнг у бiзнесi: теорiя i практика». – К.: КНЕУ, 2008. – С.43-50.
81. Орлов А.И. Неформальная информационная экономика будущего - базовая организационно-экономическая теория. - Управление развитием крупномасштабных систем (MLSD'2008). Материалы Второй международной конференции. Том 1. - М.: ИПУ РАН, 2008. - С.72 - 74. 
82. Орлов А.И. Контроллинг организационно-экономических методов // Контроллинг. - 2008. - №4. - С.12 - 18.
83. Орлов А.И. Инновационная деятельность: организационно-экономическое обеспечение и Интернет-аукционы. - Проблемы информационной экономики. Выпуск VII. Стратегия инновационного развития российской экономики: Сб. научных трудов / Под ред. Р.М. Нижегородцева. - М.: Книжный дом «ЛИБРОКОМ», 2008. – С.325-345.
84. Орлов А.И. Основные идеи неформальной информационной экономики будущего – новой организационно-экономической теории. - Четвертая международная конференция по проблемам управления (26 – 30 января 2009 года): Сборник трудов. − М.: Учреждение Российской академии наук Институт проблем управления им. В.А. Трапезникова РАН, 2009. – C.672 - 686.
85. Орлов А.И. Организационно-экономическое моделирование: Часть 1: Нечисловая статистика. – М.: Изд-во МГТУ им. Н.Э. Баумана, 2009. – 541 с.
86. Орлов А.И. После кризиса - неформальная информационная экономика будущего. - Стратегическое планирование и развитие предприятий. Секция 1 / Материалы Десятого всероссийского симпозиума. Москва, 14-15 апреля 2009 г. Под ред. чл.-корр. РАН Г.Б. Клейнера. – М.: ЦЭМИ РАН, 2009. – С.137-138.
87. Орлов А.И. Тридцать лет статистики объектов нечисловой природы (обзор) / Заводская лаборатория. Диагностика материалов. 2009. Т.75. № 5. С.55-64.
88. Орлов А.И. Философские основания устойчивого математического моделирования процессов управления промышленными предприятиями / Философия математики: актуальные проблемы: Тезисы Второй международной научной конференции; 28-30 мая 2009 г. – М.: МАКС Пресс, 2009. – С.284-287.
89. Орлов А.И. Менеджмент: организационно-экономическое моделирование. Учебное пособие для вузов. – Ростов-на-Дону: Феникс, 2009. - 475 с.
90. Орлов А.И., Куликова С.Ю., Муравьева В.С. Организационно-экономическое моделирование в контроллинге // Контроллинг. - 2009. - №5(33). - С. 42-47.
91. Орлов А.И., Раушенбах Г.В. Метрика подобия: аксиоматическое введение, асимптотическая нормальность / Статистические методы оценивания и проверки гипотез. Межвузовский сборник научных трудов. - Пермь: Изд-во Пермского государственного университета, 1986. - С.148-157.
92. Панкова Л.А., Петровский А.М., Шнейдерман М.В. Организация экспертиз и анализ экспертной информации. - М.: Наука, 1984. - 120 с.
93. Первое Всесоюзное совещание по статистическому и дискретному анализу нечисловой информации, экспертным оценкам и дискретной оптимизации/Тезисы докладов. - М.- Алма-Ата, ВИНИТИ, 1981. - 439 с.
94. Перекрест В.Т. Нелинейный типологический анализ социально-экономической информации: Математические и вычислительные методы. – Л.: Наука, 1983. – 176 с.
95. Поддъяков А.Н. Преднамеренное создание трудностей и совладание с ними // Психологические исследования. 2008. №1.
96. Поддъяков А.Н. Троянское обучение в информационных технологиях // Компьютерра. 2008. 01 апреля. №13.
97. Подиновский В.В., Ногин В.Д. Парето-оптимальные решения многокритериальных задач. - М.: Наука, 1982. - 256 с. 
98. Поляк Б.Т., Щербаков П.С. Робастная устойчивость и управление. – М.: Наука, 2002. – 303 с.
99. Применение экспертных оценок для задач стратегического планирования / Д.С. Шмерлинг, Т.Ю. Кузнецова, П.Ю. Чеботарев, Э.П. Чуркин. – М.: МШЭ МГУ ЦСП, 2008. – 36 с.
100. Проектирование интегрированных производственно-корпоративных структур: эффективность, организация, управление / С.Н. Анисимов, А.А. Колобов, И.Н. Омельченко, А.И. Орлов, А.М. Иванилова, С.В. Краснов; Под ред. А.А. Колобова, А.И. Орлова. Научное издание. – М.: МГТУ им. Н.Э. Баумана, 2006. – 728 с.
101. Райхман Э.П., Азгальдов Г.Г. Экспертные методы в оценке качества товаров. - М.: Экономика, 1974. - 151 с.
102. Раушенбах Г.В. Меры близости и сходства в социологии / Анализ нечисловой информации в социологических исследованиях. – М.: Наука, 1986. С.169-203.
103. Раушенбах Г.В., Филиппов О.В. Экспертные оценки в медицине. Научный обзор. - М.: ВНИИММТИ Минздрава СССР, 1983. - 80 с.
104. Саати Т. Принятие решений. Метод анализа иерархий. – М.: Радио и связь, 1993. – 320 с.
105. Сидельников Ю.В. Аксиоматическое введение меры близости типа Спирмена на векторах предпочтения / Тезисы докладов третьего международного симпозиума стран-членов СЭВ по проблемам прогнозирования научно-технического прогресса (СССР, Ереван, 20-25 октября 1986 г.). Секция 1. - М.: Комитет по научно-техническому сотрудничеству СЭВ, 1986. - С. 58-59.
106. Сидельников Ю.В. Теория и организация экспертного прогнозирования. - М.: ИМЭМО АН СССР, 1990. - 196 с.
107. Сидельников Ю.В. Технология экспертного прогнозирования: Учебное пособие. Изд. 2-е, исправл. – М.: Доброе слово, 2004. – 284 с.
108. Сидельников Ю.В. Системный анализ технологии экспертного прогнозирования. – М.: Изд-во МАИ-ПРИНТ, 2007. – 348 с.
109. Смирнов Н.В., Дунин-Барковский И.В. Курс теории вероятностей и математической статистики для технических приложений. Изд. 3-е, стереотипное. – М.: Наука, 1969. – 512 с.
110. Смоляк С.А., Титаренко Б.П. Устойчивые методы оценивания: Статистическая обработка неоднородных совокупностей. - М.: Финансы и статистика, 1980. – 208 с.
111. Современные проблемы кибернетики (прикладная статистика) / Под ред. Орлова А.И. - М.: Знание, 1981. – 64 с.
112. Статистические методы анализа экспертных оценок. - М.: Наука, 1977. - 384 с.
113. Терехина А.Ю. Анализ данных методами многомерного шкалирования. – М.: Наука, 1986. -168 с.
114. Тутубалин В.Н. Эконометрика: образование, которое нам не нужно. М.: Фазис, 2004. – 168 с.
115. Устойчивые статистические методы оценки данных. - М.: Машиностроение. 1984. – 230 с.
116. Файоль А. Общее и промышленное управление. – Л.-М.: Центральный институт труда, 1924. Переиздание: Контроллинг. 1992. Вып. 2. - 151 с.
117. Фалько С.Г. Наука об организации производства: история, современность, перспективы. – М.: О-во «Знание» РСФСР, 1990. – 56 с.
118. Фалько С.Г. Эволюция концепций управления предприятиями промышленности. – М.: ЦЭМИ РАН, 2007. – 50 с.
120. Фалько С.Г. Контроллинг для руководителей и специалистов. - М.: Финансы и статистика, 2008. – 272 с.
121. Фалько С.Г., Иванова Н.Ю. Управление нововведениями на высокотехнологичных предприятиях. – М.: Изд-во МГТУ им. Н.Э. Баумана, 2007. – 256 с.
122. Фалько С.Г., Орлов А.И. «Шесть сигм» как подход к совершенствованию бизнеса // Контроллинг. - 2004. - №4(12). - С.42-46. 
123. Хампель Ф., Рончетти Э., Рауссеу П., Штаэль В. Робастность в статистике. Подход на основе функций влияния. – М.: Мир, 1989. 512 с.
125. Хан Д. Планирование и контроль: концепция контроллинга: Пер. с нем. - М.: Финансы и статистика, 1997. - 800 с.
124. Хьюбер П. Робастность в статистике. - М.: Мир. 1984. – 304 с.
125. Экспертные оценки / Вопросы кибернетики. - Вып.58. - М.: Научный совет АН СССР по комплексной проблеме «Кибернетика», 1979. - 200 с.
126. Экспертные оценки в задачах управления / Сборник трудов. - М.: Институт проблем управления, 1982. - 106 с.
127. Экспертные оценки в системных исследованиях / Сборник трудов. - Вып.4. - М.: ВНИИСИ, 1979. - 120 с.

Интернет-источники

128. Сайт «Высокие статистические технологии» http://orlovs.pp.ru/ .
129. Сайт Лаборатории экономико-математических методов в контроллинге научно-учебного комплекса «Инженерный бизнес и менеджмент» МГТУ им. Н.Э. Баумана http://ibm.bmstu.ru/nil/biblio.html
130. Форум сайта «Высокие статистические технологии» 
http://forum.orlovs.pp.ru/ 
131. Электронный еженедельник «Эконометрика» 
http://subscribe.ru/archive/science.humanity.econometrika/